Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
 Data Lake (hadoop + GraphQL)  [new]
razliv
Member

Откуда:
Сообщений: 1090
Всем привет, работаю над интеграцием аппликаций(начиная от мейнфреймов и дб, кончая
веб-сервисами и mq брокерами), используя для интеграции так же и локальную дб.

Перед Рождеством услышал - новую визию, компания как и многие другие переходит на
Data Lake(Hadoop + graphQL) - то есть планируется переписать существующие интеграции
используя великий и могучий Data Lake. Особенно вызывает озабоченность что Дата Лаке
рекомендуется как платформа для всего - аналитики, интеграции, операционки..


Есть ли у вас опыт работы с подобными технологиями ? Насколько они
стабильны ? Пикантность ситуации в том что моя команда работает близко к бизнесу,
и при проблемах огребем по шапке первые - мы..
28 дек 18, 14:39    [21775785]     Ответить | Цитировать Сообщить модератору
 Re: Data Lake (hadoop + GraphQL)  [new]
alex55555
Member

Откуда:
Сообщений: 2129
razliv
Всем привет, работаю над интеграцием аппликаций(начиная от мейнфреймов и дб, кончая веб-сервисами и mq брокерами)
...
планируется переписать существующие интеграции используя великий и могучий Data Lake

Как бы... В общем - ужос.

Свалить всё в кучу, назвать громкими словами, и сказать - вот она, серебряная пуля!

Интеграция по смыслу - это противоположность кучи. То есть там крайне важна структура. Но гении не переводятся, мля...
28 дек 18, 15:20    [21775846]     Ответить | Цитировать Сообщить модератору
 Re: Data Lake (hadoop + GraphQL)  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 210
сам хадуп, hdfs, spark всякие вполне стабильны. многим субд фору дадут. а вот дребедень вокруг бывает и не очень. всякие cloudera impala, kudu уже заметно более сырые.
прежде чем воротить даталейк полистайте Data Lake Architecture: Designing the Data Lake and Avoiding the Garbage Dump
там мудрая мысля не делать аппликации поверх raw data, а сначала интегрировать данные в хранилище application pond и лишь от туда использовать
28 дек 18, 15:34    [21775862]     Ответить | Цитировать Сообщить модератору
 Re: Data Lake (hadoop + GraphQL)  [new]
NoDataFound
Member

Откуда:
Сообщений: 105
H5N1,

Многие СУБД до сих пор делают то, что нужно заказчику. До сих пор. Понятно, и правильно. Даже с говенными планами исполнения запросов местных "аналитиков"
А куча говна в HDFS - цель поехавших умом, со спонсорами, блэкджеком и девицами. В массе. Тренд.
Копайтесь :)
8 янв 19, 01:48    [21779706]     Ответить | Цитировать Сообщить модератору
 Re: Data Lake (hadoop + GraphQL)  [new]
mad_nazgul
Member

Откуда:
Сообщений: 4700
razliv
Есть ли у вас опыт работы с подобными технологиями ? Насколько они
стабильны ? Пикантность ситуации в том что моя команда работает близко к бизнесу,
и при проблемах огребем по шапке первые - мы..


Опыт есть "со стороны". На предыдущей работе видел, как IBM второй год внедряет Data Like.
Но пока, результат 0.
Но картинки на презентации красивые.

А так Data Like - это про "все удобства во дворе".
С одной стороны полный контроль что и как считать.
С другой - любого попавшегося менеджера на построение кубов не посадишь.
Нужны как минимум математик и программист.
Математик - для построения модели и описания ее на python'е.
Программист, чтобы то что математик наваял на python'е переписать на что-то более быстрое.
8 янв 19, 10:03    [21779767]     Ответить | Цитировать Сообщить модератору
 Re: Data Lake (hadoop + GraphQL)  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 210
NoDataFound
Многие СУБД до сих пор делают то, что нужно заказчику. До сих пор. Понятно, и правильно. Даже с говенными планами исполнения запросов местных "аналитиков"
А куча говна в HDFS - цель поехавших умом, со спонсорами, блэкджеком и девицами. В массе. Тренд.
Копайтесь :)

деревенским и автомобиль кажется кучкой железа в котором еще и копаться нужно.

mad_nazgul
А так Data Like - это про "все удобства во дворе".
С одной стороны полный контроль что и как считать.
С другой - любого попавшегося менеджера на построение кубов не посадишь.
Нужны как минимум математик и программист.
Математик - для построения модели и описания ее на python'е.
Программист, чтобы то что математик наваял на python'е переписать на что-то более быстрое.

любого менеджера и на DWH не посадишь, он не понимает куда делись его данные, что за факты и дименсии вместо его красивых табличек в системе подсовывают. как раз DWH нужны еще толпы инженеров, что бы факты и дименсии заджоинить так, что бы манагеры свои данные узнавали.
что касается аналитики, то как раз на хадупе много больше вариантов всякие питончики, R скрипты деплоить как есть и исполнять эффективно. для энтерпрайза за частую мало что меняется, т.к. они использую энтерпрайз тулзы типа SAS data miner или Adapa.
8 янв 19, 12:46    [21779835]     Ответить | Цитировать Сообщить модератору
 Re: Data Lake (hadoop + GraphQL)  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 26501
razliv
Есть ли у вас опыт работы с подобными технологиями ? Насколько они
стабильны ? Пикантность ситуации в том что моя команда работает близко к бизнесу,
и при проблемах огребем по шапке первые - мы..

Есть опыт с GraphQL. Проблем нету, пока все задачи решаемы, документации, примеров и прочего в сети предостаточно.
8 янв 19, 13:00    [21779840]     Ответить | Цитировать Сообщить модератору
Все форумы / Работа Ответить