Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5   вперед  Ctrl      все
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Alex_496
Member

Откуда:
Сообщений: 3733
если бигдатовцам через пару лет будут платить 120К руб., то также будут все гореть развиваться?
или просто тупо за деньгами ломятся
18 июл 17, 21:32    [20655633]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Wizandr
Member

Откуда: Империя Добра
Сообщений: 36346
xtender
Wizandr,

И "стандартных сценариев" у старых rdbms намного больше, не говоря уже обо всяких тонкостях у каждого из них...


можете привести какие-нибудь стандартные сценарии для rdbms кроме CRUD и ACID?
18 июл 17, 21:42    [20655649]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Don4anin
Member

Откуда:
Сообщений: 227
Alex_496
если бигдатовцам через пару лет будут платить 120К руб., то также будут все гореть развиваться?
или просто тупо за деньгами ломятся


Сейчас именно за деньгами и новыми проектами, а также новыми скиллами, которые в надеждах многих должны стать спасительными и обеспечат безоблачное будущее. Но ребята, в этой вашей бигдате и девопсе нет ничего такого, что могло бы заинтересовать нормального серьезного специалиста в области БД, скажем. Будет пустота и разочарование. С нетерпение жду когда все наиграются в "дата саенс", "хайлоад" и "новые революционные технологии"...
18 июл 17, 22:28    [20655722]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Wizandr
Member

Откуда: Империя Добра
Сообщений: 36346
Don4anin
Alex_496
если бигдатовцам через пару лет будут платить 120К руб., то также будут все гореть развиваться?
или просто тупо за деньгами ломятся


Сейчас именно за деньгами и новыми проектами, а также новыми скиллами, которые в надеждах многих должны стать спасительными и обеспечат безоблачное будущее. Но ребята, в этой вашей бигдате и девопсе нет ничего такого, что могло бы заинтересовать нормального серьезного специалиста в области БД, скажем. Будет пустота и разочарование. С нетерпение жду когда все наиграются в "дата саенс", "хайлоад" и "новые революционные технологии"...


лет 10 назад многие говорили то же самое про ORM
что наиграются и бросят
однако ORM никуда не ушли а даже наоборот
18 июл 17, 22:34    [20655728]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Алекссс
Member

Откуда:
Сообщений: 1900
Wizandr, а ты его сам пробовал? и как?
18 июл 17, 22:38    [20655738]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Don4anin
Member

Откуда:
Сообщений: 227
Wizandr
Don4anin
пропущено...


Сейчас именно за деньгами и новыми проектами, а также новыми скиллами, которые в надеждах многих должны стать спасительными и обеспечат безоблачное будущее. Но ребята, в этой вашей бигдате и девопсе нет ничего такого, что могло бы заинтересовать нормального серьезного специалиста в области БД, скажем. Будет пустота и разочарование. С нетерпение жду когда все наиграются в "дата саенс", "хайлоад" и "новые революционные технологии"...


лет 10 назад многие говорили то же самое про ORM
что наиграются и бросят
однако ORM никуда не ушли а даже наоборот


На самом деле это большой вопрос, что будет хотя бы через 5 лет. Однако мне кажется, если мы говорим о той же бигдате или дата саенсе и это по-прежнему будет перспективно и популярно - то одни из самых элегантных решений будут выглядеть как компоненты а-ля JD Edwards, Golden Gate и тд в составе больших и серьезных энтерпрайз продуктов от Oracle, Miscrosoft и SAP.
18 июл 17, 22:42    [20655750]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
meleleac
Member

Откуда:
Сообщений: 456
Don4anin
meleleac
Мне кажется, что речь должна идти не о сравнении разных БД, а о том, что рынок труда будет требовать знания NoSQL, и о том, что, возможно, не стоит игнорировать такой большой пласт вакансий и ограничивать себя в карьерных возможностях.


Хотел поинтересоваться был ли у вас опыт работы с NoSQL решениях иои Ваше мнение основывается на анализе тенденций на сегодняшний день?


Пока на практике я ними не работал, но познакомился с ними в целях общего образования (я разработчик, а не ДБА, у меня другой фокус работ). Скажу так, я тоже прекрасно вижу, что NoSQL - довольно сырая игрушка и скорее всего со временем трансформируется в какие-то другие технические решения, но при этом я тоже отчетливо вижу, что инструмент может быть реально полезен в частных ситуациях даже в его сегодняшнем сыром виде. Поэтому я вполне открыт к варианту поработать с ним, не планирую прятать голову в песок и отметать вакансии, где работают с NoSQL. Это было бы просто непрактично. Есть разные задачи, разные потребности, кто-то успешно работает с этим инструментом, почему бы и мне не поработать в такой команде, если все остальное у них в порядке.

Но мне проще, я к технологиям отношусь спокойно без фанатизма. Вышла новая полезная штука, почему бы мне не посмотреть, что это такое, в моей практике может пригодится, может, мне даже понравится.
18 июл 17, 22:43    [20655753]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Алекссс
Member

Откуда:
Сообщений: 1900
Don4anin
все наиграются в "дата саенс", "хайлоад" и "новые революционные технологии"...

да многие даже еще не начали, и даже не мечтают, все игрушки, прибитые к полу!
18 июл 17, 22:45    [20655760]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Алекссс
Member

Откуда:
Сообщений: 1900
meleleac
NoSQL - довольно сырая игрушка

в чем это выражается?
18 июл 17, 22:47    [20655767]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
_nautilus_
Member

Откуда: Отсюда
Сообщений: 1195
meleleac
(я разработчик, а не ДБА, у меня другой фокус работ)...но при этом я тоже отчетливо вижу, что инструмент может быть реально полезен в частных ситуациях даже в его сегодняшнем сыром виде.


Например?
18 июл 17, 22:50    [20655773]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
meleleac
Member

Откуда:
Сообщений: 456
Don4anin
то одни из самых элегантных решений будут выглядеть как компоненты а-ля JD Edwards, Golden Gate и тд в составе больших и серьезных энтерпрайз продуктов от Oracle, Miscrosoft и SAP.


Не забывай, что вокруг тысячи стартапов, у которых нет и не будет денег на покупку коммерческих лицензий. Даже скажу больше, инвесторы им денег просто не дадут, если в технологическом стеке будут присутствовать платные лицензии (особенно, если они лицензируются поядерно - это вообще труба). Но эти тысячи стартапов предлагают десятки и сотни тысяч вакансий, на которые можно устроиться и хорошо зарабатывать, даже вырости до высокой позиции, что практически невозможно в твоем любимом "энтерпрайзе" - там очередь за карьерным повышением начинается еще за чертой города.

Поэтому вопрос не в том, какая технология сырая, а в том, что тебе важнее - твоя идеология или твои карьерные возможности. Чтобы, к примеру, не ждать 3-4 месяца новой вакансии под тебя, а найти новое место за месяц.
18 июл 17, 22:50    [20655774]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Eleanor
Member

Откуда:
Сообщений: 2076
Don4anin
Но ребята, в этой вашей бигдате и девопсе нет ничего такого, что могло бы заинтересовать нормального серьезного специалиста в области БД, скажем. Будет пустота и разочарование.

Так и есть. Собственно, на вакансии по администрированию Nosql / Big Data, чаще ищут бывших сисадминов, а не ДБА.
Нужно знать много вещей поверхностно, а не одну вещь хорошо, сегодня администрируешь одно приложение, завтра - другое.
Не удивлюсь, что сисадмины будут справляться лучше, т.к. у них склонность к такому стилю работы, а не к ДБА-шному накоплению знаний.
18 июл 17, 22:51    [20655775]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
meleleac
Member

Откуда:
Сообщений: 456
Алекссс
meleleac
NoSQL - довольно сырая игрушка

в чем это выражается?


В том, что пока это выглядит, как юношеский протест против ограничений реляционных СУБД - а давайте все правила выкинем и будем жить и работать как хиппи. В каких-то ситуациях это помогает, в каких-то нет. В любом случае, отсутствие гарантии сохранности и целостности данных, а также необходимость вручную настраивать этот зоопарк не выглядят убедительно. Со времени поверх текущих NoSQL натянут какую-то сервисную прослойку, которая приблизит эти системы к реляционным и добавит гарантий, а пока это скорее эксперимент. Но без таких экспериментов невозможен прогресс. Чтобы понять, как сделать правильно, надо сначала сделать хоть как-то, пусть пока и неправильно.
18 июл 17, 22:56    [20655786]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
meleleac
Member

Откуда:
Сообщений: 456
_nautilus_
meleleac
(я разработчик, а не ДБА, у меня другой фокус работ)...но при этом я тоже отчетливо вижу, что инструмент может быть реально полезен в частных ситуациях даже в его сегодняшнем сыром виде.


Например?


Например, графовые данные, хождение по связям. С обычным SQL очень быстро сломаешь мозг, пытаясь написать такой запрос. А немного постаравшись, можно и движок SQL уронить.

NoSQL, может, и сырой, но возник не без причины.
18 июл 17, 22:59    [20655789]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Don4anin
Member

Откуда:
Сообщений: 227
Eleanor
Don4anin
Но ребята, в этой вашей бигдате и девопсе нет ничего такого, что могло бы заинтересовать нормального серьезного специалиста в области БД, скажем. Будет пустота и разочарование.

Так и есть. Собственно, на вакансии по администрированию Nosql / Big Data, чаще ищут бывших сисадминов, а не ДБА.
Нужно знать много вещей поверхностно, а не одну вещь хорошо, сегодня администрируешь одно приложение, завтра - другое.
Не удивлюсь, что сисадмины будут справляться лучше, т.к. у них склонность к такому стилю работы, а не к ДБА-шному накоплению знаний.


Я бы сказал, что в нынешней роли мне мои знания и представления из области дба лишь мешают, а вот сисадминских реально не хватает. Big Data admin \ Hadoop admin - это чистое линукс администрирование в довольно узкой предметной области и ничего общего с БД областью не имеет. DevOps - аналогичная роль для бывших сисадминов, прокачавших скиллы в программировании и работающих с инфраструкторой в виде кода (клауд)
18 июл 17, 22:59    [20655790]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Don4anin
Member

Откуда:
Сообщений: 227
Алекссс
Don4anin
все наиграются в "дата саенс", "хайлоад" и "новые революционные технологии"...

да многие даже еще не начали, и даже не мечтают, все игрушки, прибитые к полу!


Ну почему же, есть такая штука как IBM Watson, там в дата саенс можно играться выкликивая мышью...к этому многие и придут в будущем, имхо. В частности такие компании компании как SAP, которые имеют деньги и дофига инвестируют в эту область
18 июл 17, 23:02    [20655794]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
_nautilus_
Member

Откуда: Отсюда
Сообщений: 1195
meleleac
С обычным SQL очень быстро сломаешь мозг, пытаясь написать такой запрос.


Т.е. весь плюс NoSQL четко сконцентрирован в самом его названии и обусловлен исключительно сложностью SQL в ряде задач?
18 июл 17, 23:05    [20655800]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Don4anin
Member

Откуда:
Сообщений: 227
meleleac
Алекссс
пропущено...

в чем это выражается?


В том, что пока это выглядит, как юношеский протест против ограничений реляционных СУБД - а давайте все правила выкинем и будем жить и работать как хиппи. В каких-то ситуациях это помогает, в каких-то нет. В любом случае, отсутствие гарантии сохранности и целостности данных, а также необходимость вручную настраивать этот зоопарк не выглядят убедительно. Со времени поверх текущих NoSQL натянут какую-то сервисную прослойку, которая приблизит эти системы к реляционным и добавит гарантий, а пока это скорее эксперимент. Но без таких экспериментов невозможен прогресс. Чтобы понять, как сделать правильно, надо сначала сделать хоть как-то, пусть пока и неправильно.


Ну почему же в будущем, есть тот же Datastax Enterprise, который пытается стать такой себе альтернативой дорогим решениям от Oracle, MS & SAP. Все лучшие идеи опенсорса оформлены в виде коммерческого решения, которое по идее должно удовлетворить многих страждущих. Вот только незадача, все эти красивые автоматизированные решения, красочные гуи, экстра-надстройки над базовой функциональностью превращают эту идею в очередной проприетарный продукт, который весьма недешев (от 6-8 тысяч долларов за ноду). Чудес не бывает, а бесплатный сыр мы понимаем лежит где.
18 июл 17, 23:09    [20655810]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Don4anin
Member

Откуда:
Сообщений: 227
meleleac
Don4anin
то одни из самых элегантных решений будут выглядеть как компоненты а-ля JD Edwards, Golden Gate и тд в составе больших и серьезных энтерпрайз продуктов от Oracle, Miscrosoft и SAP.


Не забывай, что вокруг тысячи стартапов, у которых нет и не будет денег на покупку коммерческих лицензий. Даже скажу больше, инвесторы им денег просто не дадут, если в технологическом стеке будут присутствовать платные лицензии (особенно, если они лицензируются поядерно - это вообще труба). Но эти тысячи стартапов предлагают десятки и сотни тысяч вакансий, на которые можно устроиться и хорошо зарабатывать, даже вырости до высокой позиции, что практически невозможно в твоем любимом "энтерпрайзе" - там очередь за карьерным повышением начинается еще за чертой города.

Поэтому вопрос не в том, какая технология сырая, а в том, что тебе важнее - твоя идеология или твои карьерные возможности. Чтобы, к примеру, не ждать 3-4 месяца новой вакансии под тебя, а найти новое место за месяц.


Да, именно об этом и хотел сказать. Стартапы или большие софтверные гиганты - именно те компании, которые активно используют опенсорс решения. В первом случае основная цель - минимизация затрат, во втором - часто именно большие компании и разрабатывают эти продукты, либо же активно используют тк в штате работает огромное количество разработчиков, которые являются активными коммитерами в эти проекты. Во всех остальных случая использование опенсорса - это либо жлобство в чистом виде, либо же понимание, что риски допустимы. Но работать в таких компаниях я бы не хотел в силу множества очевидных обстоятельств.
18 июл 17, 23:14    [20655819]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Vyatich
Member

Откуда:
Сообщений: 2588
Wizandr
Don4anin
пропущено...


Сейчас именно за деньгами и новыми проектами, а также новыми скиллами, которые в надеждах многих должны стать спасительными и обеспечат безоблачное будущее. Но ребята, в этой вашей бигдате и девопсе нет ничего такого, что могло бы заинтересовать нормального серьезного специалиста в области БД, скажем. Будет пустота и разочарование. С нетерпение жду когда все наиграются в "дата саенс", "хайлоад" и "новые революционные технологии"...


лет 10 назад многие говорили то же самое про ORM
что наиграются и бросят
однако ORM никуда не ушли а даже наоборот

Да лучше бы его ещё лет 10 назад бросили. Он такие запросы генерит, что потом прибегают разработчики и просят: "ДБА, посмотри. У заказчика всё висит, база не справляется". А когда их носом тычешь в этот шит - ответ один: "ну это не мы, это ж ORM такое выдал".
18 июл 17, 23:17    [20655825]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Don4anin
Member

Откуда:
Сообщений: 227
_nautilus_
meleleac
С обычным SQL очень быстро сломаешь мозг, пытаясь написать такой запрос.


Т.е. весь плюс NoSQL четко сконцентрирован в самом его названии и обусловлен исключительно сложностью SQL в ряде задач?


В нашем проекте мы используем Кассандру исключительно для хранения данных, вся работа с данными - с помощью Спарка. В целом, такой себе аналог Хадупа, только гораздо быстрее
18 июл 17, 23:18    [20655828]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
xtender
Member

Откуда: Мск
Сообщений: 4944
Wizandr
xtender
Wizandr,

И "стандартных сценариев" у старых rdbms намного больше, не говоря уже обо всяких тонкостях у каждого из них...


можете привести какие-нибудь стандартные сценарии для rdbms кроме CRUD и ACID?
я имел ввиду oltp, dwh, gis...
18 июл 17, 23:20    [20655835]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Eleanor
Member

Откуда:
Сообщений: 2076
Don4anin
Я бы сказал, что в нынешней роли мне мои знания и представления из области дба лишь мешают, а вот сисадминских реально не хватает. Big Data admin \ Hadoop admin - это чистое линукс администрирование в довольно узкой предметной области и ничего общего с БД областью не имеет

Значит, если вы остаетесь в Big Data, и Big Data не взлетает, ваш очевидный вектор развития - это Линукс админ. У разбитого корыта в итоге точно не окажетесь. А хотите или не хотите быть сисадмином - это вопрос личных предпочтений.
18 июл 17, 23:21    [20655838]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
meleleac
Member

Откуда:
Сообщений: 456
ORM - это действительно дурная вещь. Чтобы его правильно настроить, надо потратить намного больше времени, чем на написание SQL. После чего ты точно так же привязан к конкретному ORM. А зачем? Уж лучше быть привязанным к более менее стандартному SQL.
18 июл 17, 23:22    [20655839]     Ответить | Цитировать Сообщить модератору
 Re: Предметная область (Big Data vs RDBMS) - уйти или остаться?  [new]
Relic Hunter
Member

Откуда: AB
Сообщений: 6659
meleleac
ORM - это действительно дурная вещь. Чтобы его правильно настроить, надо потратить намного больше времени, чем на написание SQL. После чего ты точно так же привязан к конкретному ORM. А зачем? Уж лучше быть привязанным к более менее стандартному SQL.
NoSQL очень сильно "косит" под ORM и практически им и является, но не таким продвинутым, что хуже.
18 июл 17, 23:30    [20655846]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5   вперед  Ctrl      все
Все форумы / Работа Ответить