Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl→      все
 ВТБ, Hadoop, MS SQL  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 32761
Блог
 		Коллеги, есть смысл у такого решения?

http://www.cnews.ru/news/top/2018-01-16_bank_vtb_podruzhil_hadoop_s_microsoft
Как стало известно CNews, первый эксперимент ВТБ по внедрению инструментов больших данных с использование свободного ПО в своем развитии сделал ставку на более традиционные проприетерные программные продукты. Пользователям созданной в банке системы ГАУСС для формирования аналитической и управленческой отчетности на открытой платформе Hadoop с использованием свободной СУБД PostgreSQL и применением технологий обработки данных Apache Spark и Apache Zeppelin потребовались привычные инструменты бизнес-аналитики, а именно Microsoft Power BI.

С учетом того, что напрямую Power BI с Hadoop взаимодействовать не может, но хорошо работает с данным в Microsoft SQL Server, в ВТБ решили осуществить интеграцию этой СУБД с Hadoop, задействовав для этого Microsoft Polybase. Эта технология обращается к информации за пределами базы данных с помощью языка Transact-SQL (T-SQL — процедурное расширение языка SQL). В SQL Server она позволяет выполнять запросы к внешним данным в хранилище BLOB-объектов (массивов двоичных данных) Hadoop, а также импортировать в него данные и экспортировать их из него.



Или просто неосилили глянуть видео?
16 янв 18, 20:06    [21112009]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
T87
Member

Откуда:
Сообщений: 80
 		Критик,

Или с лицензий Sql Server откаты получили?
16 янв 18, 21:54    [21112220]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
мигель1
Member

Откуда:
Сообщений: 3374
 		По словам Батюкова, для реализации любого алгоритма в Hadoop требуются навыки в программировании. Что же касается Microsoft Power BI, то он позволяет аналитикам строить любые отчеты в рамках предварительно настроенной модели данных, источником которых является Hadoop

Аналитеги не осилили sql?)
16 янв 18, 21:57    [21112228]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
мигель1
Member

Откуда:
Сообщений: 3374
 		Хотя зря я так...
Может Hive, impala, Power BI генерят хреновые мап редьюсы, что разрабам приходится все агрегаты тащить в БД?
16 янв 18, 22:00    [21112239]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2036
 		Критик,

Смысла нет. Вот хорошая статья, как хадуп мучают парни из Селектела.
А вот ключевой комментарий "Он действительно медленный. Это скорее болезнь Hadoop, лежащего в основе. Данные размером в 32Гб обрабатывались 15 минут, причем расход оперативки составил 91Гб? 180 млн записей? Простите, да банальнейший кластер Postgres сделал бы то же самое, да еще и (возможно) быстрее. С Hive та же беда....Хадуп — один из немногих инструментов для обработки действительно больших данных, но на данных средних размеров он бесполезен" и другой комментарий "...сам хотел добавить, что Vectorwise подобные подсчеты на 500 млн строк да еще и с джойном с таблицей из 10 млн строк выдал за 17 секунд в однонодовой конфигурации с 64 гигами и 8 ядрами".
Ну а в PowerBI как начнут агрегированные на лету отчеты с общими суммами за весь год строить поверх готовой таблицы-витрины - так хадуп по сравнению с обычным DWH типа Vertica и умрет...
Впрочем, видео таки не смотрел, посмотрю, насколько оно кошерное :)
16 янв 18, 23:24    [21112397]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 32761
Блог
мигель1
Может Hive, impala, Power BI генерят хреновые мап редьюсы, что разрабам приходится все агрегаты тащить в БД?


ну, не дураки же в MS, у Power BI и PolyBase одна компания-разработчик,
вот мне и интересно, что им дало использование прослойки в виде PolyBase, кроме немаленьких затрат на лицензии
16 янв 18, 23:26    [21112400]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2036
Критик
Или просто неосилили глянуть видео?

На видео 2 миниатюрных таблички с номенклатурой и категориями номенклатуры. Идет аналитика последних цен по категориям. Просто показывается, что можно не из Excel файлика с 2 листами затянуть, а из HDFS.
Ну концептуально интересно. В реальной жизни наверное сделать можно. Но зачем....
16 янв 18, 23:27    [21112402]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2036
 		Критик,

Вот смотрите - дорожная карта для 3-й версии хадупа. Понятно, что Cloudera и Hortonworks будут пилить расчеты на GPU. Это откусит кусок пирога от MS. Поэтому парни из Редмонда словно говорят - "вы таки всегда можете использовать кошерный HDFS в Azure облаке, не нужны вам расчеты на CPU. И даже можете отчеты на PowerBI сверху прикрутить и тоже в облаке. И никаких затрат на свое железо. Устойчиво, масштабируемо под нагрузку, дорого вполне нормально по грабительским ценам".
16 янв 18, 23:32    [21112406]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
мигель1
Member

Откуда:
Сообщений: 3374
Критик
мигель1
Может Hive, impala, Power BI генерят хреновые мап редьюсы, что разрабам приходится все агрегаты тащить в БД?


ну, не дураки же в MS, у Power BI и PolyBase одна компания-разработчик,
вот мне и интересно, что им дало использование прослойки в виде PolyBase, кроме немаленьких затрат на лицензии


Если я правильно понял, они не запросы через poly base прокидывают, а тянут данные из хадупа и кладут из в витрины

"В Hadoop хранится большое количество деталей, например, номер, дата, сумма транзакции, а в Power BI используются только агрегированные данные, например суммы комиссий».
16 янв 18, 23:53    [21112437]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Yo.!
Guest
Andy_OLAP
Критик,

Смысла нет. Вот хорошая статья, как хадуп мучают парни из Селектела.
А вот ключевой комментарий "Он действительно медленный. Это скорее болезнь Hadoop, лежащего в основе. Данные размером в 32Гб обрабатывались 15 минут, причем расход оперативки составил 91Гб? 180 млн записей? Простите, да банальнейший кластер Postgres сделал бы то же самое, да еще и (возможно) быстрее. С Hive та же беда....Хадуп — один из немногих инструментов для обработки действительно больших данных, но на данных средних размеров он бесполезен" и другой комментарий "...сам хотел добавить, что Vectorwise подобные подсчеты на 500 млн строк да еще и с джойном с таблицей из 10 млн строк выдал за 17 секунд в однонодовой конфигурации с 64 гигами и 8 ядрами".
Ну а в PowerBI как начнут агрегированные на лету отчеты с общими суммами за весь год строить поверх готовой таблицы-витрины - так хадуп по сравнению с обычным DWH типа Vertica и умрет...
Впрочем, видео таки не смотрел, посмотрю, насколько оно кошерное :)

у чудиков руки кривые. пиг как я понимаю хрень умершая до 2010, нафига труп было тестировать в 2014 не понятно. хайв, который в мап-редюс в 80% хрень генерит, особенно с джоинами. все что показал тест - отсутствие моска и не понимания как работает мап-редюс.

лезть в хадуп через мсскл ... наркомания и тяжелая.
16 янв 18, 23:54    [21112438]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 32761
Блог
мигель1
"В Hadoop хранится большое количество деталей, например, номер, дата, сумма транзакции, а в Power BI используются только агрегированные данные, например суммы комиссий».


Тогда подход выглядит странным вдвойне )
17 янв 18, 10:31    [21112978]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2036
Критик
мигель1
"В Hadoop хранится большое количество деталей, например, номер, дата, сумма транзакции, а в Power BI используются только агрегированные данные, например суммы комиссий».


Тогда подход выглядит странным вдвойне )

Такие проекты делаются для 5 и более целей:
1. Занять мозги программистов новой для них технологией, чтобы у них маразм от ослабления мозговой деятельности раньше времени не начался.
2. Поставить в резюме птичку "работал с hadoop, powerbi, много других страшных, крутых и непонятных слов" или "руководил внедрением тестовых моделей на новейших технологиях для апробации бизнес-идей".
3. В разговоре с другими владельцами бизнеса ввернуть "у меня мои на острие прогресса, хадуп пилят, powerbi крутят, у нас в банке/телекоме без новейших технологий ну просто никак, мы же флагман отрасли".
4. В разговоре с вендорами ввернуть "не хотите скидку на лицензии/продукты, мы на бесплатный хадуп перейдем, опыт есть, под наши потребности этот кусок навоза не нужен этот продукт вполне подходит".
5. Послать своих орлов на конференцию и там ввернуть в мозги конкурентам как космические корабли бороздят просторы Большого театра "мы оракл/мсскл уже не пилим, у нас крутые новые технологии, следуйте за нами, все будет хорошо", а тем временем дальше маленькой тестовой поделки это все не пускать.

Так что все хорошо - и разработчикам, и менеджерам проектов, и владельцам бизнеса (не такие и большие деньги на паре простаивающих серверов хадуп развернуть под бесплатный PowerBI Desktop).
17 янв 18, 11:29    [21113200]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
s_ustinov
Member

Откуда: Lugano, CH
Сообщений: 1900
Критик
мигель1
"В Hadoop хранится большое количество деталей, например, номер, дата, сумма транзакции, а в Power BI используются только агрегированные данные, например суммы комиссий».


Тогда подход выглядит странным вдвойне )

Думаю, им просто нравится думать, что у них есть большие данные (большому банку - как без больших данных?)
Это "большое количество деталей, например, номер, дата, сумма транзакции" прекрасно может храниться в обычной РСУБД - не настолько там много транзакций. Но это ведь не модно и не современно... Вот и придумывают себе большие данные.
Ну а чё - в ексель ведь не помещаются - значит, большие!
17 янв 18, 13:44    [21113787]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Yo.!
Guest
s_ustinov
Думаю, им просто нравится думать, что у них есть большие данные (большому банку - как без больших данных?)
Это "большое количество деталей, например, номер, дата, сумма транзакции" прекрасно может храниться в обычной РСУБД - не настолько там много транзакций. Но это ведь не модно и не современно... Вот и придумывают себе большие данные.
Ну а чё - в ексель ведь не помещаются - значит, большие!

обычная РСУБД необычно счет большой счет выставит большому банку. на столько большой, что никакого смысла с обычной РСУБД связываться нет. потому и придумывают бигдата. а вот в чем смысл придумывать бигдата с мсскл, которая все приключения хадуп перемножит на счета мсскл мало понятно.
17 янв 18, 15:27    [21114199]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
s_ustinov
Member

Откуда: Lugano, CH
Сообщений: 1900
Yo.!
s_ustinov
Думаю, им просто нравится думать, что у них есть большие данные (большому банку - как без больших данных?)
Это "большое количество деталей, например, номер, дата, сумма транзакции" прекрасно может храниться в обычной РСУБД - не настолько там много транзакций. Но это ведь не модно и не современно... Вот и придумывают себе большие данные.
Ну а чё - в ексель ведь не помещаются - значит, большие!

обычная РСУБД необычно счет большой счет выставит большому банку. на столько большой, что никакого смысла с обычной РСУБД связываться нет. потому и придумывают бигдата. а вот в чем смысл придумывать бигдата с мсскл, которая все приключения хадуп перемножит на счета мсскл мало понятно.

10 лет назад Yahoo в почти обычной РСУБД хранил пару петабайт. И счет за РСУБД был, я так подозреваю, не запредельный.
Другое дело, что на спецов пришлось потратиться - но на них всегда тратиться надо.

Бизнес-данные (транзакции, проводки и тп) - это не бигдата. И для них еще 40 лет назад придумали РСУБД.
17 янв 18, 15:53    [21114273]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3396
Yo.!
s_ustinov
Думаю, им просто нравится думать, что у них есть большие данные (большому банку - как без больших данных?)
Это "большое количество деталей, например, номер, дата, сумма транзакции" прекрасно может храниться в обычной РСУБД - не настолько там много транзакций. Но это ведь не модно и не современно... Вот и придумывают себе большие данные.
Ну а чё - в ексель ведь не помещаются - значит, большие!

обычная РСУБД необычно счет большой счет выставит большому банку. на столько большой, что никакого смысла с обычной РСУБД связываться нет. потому и придумывают бигдата. а вот в чем смысл придумывать бигдата с мсскл, которая все приключения хадуп перемножит на счета мсскл мало понятно.

ну пусть не обычная - пусть опенсорсная субд - например Greenplum - опенсорс уже пару лет как.
17 янв 18, 15:56    [21114285]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Yo.!
Guest
s_ustinov
10 лет назад Yahoo в почти обычной РСУБД хранил пару петабайт. И счет за РСУБД был, я так подозреваю, не запредельный.
Другое дело, что на спецов пришлось потратиться - но на них всегда тратиться надо.

Бизнес-данные (транзакции, проводки и тп) - это не бигдата. И для них еще 40 лет назад придумали РСУБД.

в 90х помню и на foxpro люди извращались и строили на гигабайтных файликах. врятли то был показатель крутости. помню Yahoo и на пых-пых одно время сидел.

Ivan Durak
ну пусть не обычная - пусть опенсорсная субд - например Greenplum - опенсорс уже пару лет как.

не знаю. мне казалось Greenplum таки остался ближе к рсубд с индексами, форейн кеями и транзакциями.
17 янв 18, 16:25    [21114367]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3396
Yo.!
Ivan Durak
ну пусть не обычная - пусть опенсорсная субд - например Greenplum - опенсорс уже пару лет как.

не знаю. мне казалось Greenplum таки остался ближе к рсубд с индексами, форейн кеями и транзакциями.

+ MPP и Колумн сторе. То что доктор прописал для финансовой аналитики.
17 янв 18, 16:29    [21114379]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5051
 		Ivan Durak,

опенсорсная слива с ограничениями или вопрос только в саппорте?
17 янв 18, 16:32    [21114382]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3396
Дедушка
Ivan Durak,

опенсорсная слива с ограничениями или вопрос только в саппорте?

только в саппорте.
17 янв 18, 16:38    [21114409]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3609
Andy_OLAP
Критик
пропущено...


Тогда подход выглядит странным вдвойне )

Такие проекты делаются для 5 и более целей:
1. Занять мозги программистов новой для них технологией, чтобы у них маразм от ослабления мозговой деятельности раньше времени не начался.
2. Поставить в резюме птичку "работал с hadoop, powerbi, много других страшных, крутых и непонятных слов" или "руководил внедрением тестовых моделей на новейших технологиях для апробации бизнес-идей".
3. В разговоре с другими владельцами бизнеса ввернуть "у меня мои на острие прогресса, хадуп пилят, powerbi крутят, у нас в банке/телекоме без новейших технологий ну просто никак, мы же флагман отрасли".
4. В разговоре с вендорами ввернуть "не хотите скидку на лицензии/продукты, мы на бесплатный хадуп перейдем, опыт есть, под наши потребности этот кусок навоза не нужен этот продукт вполне подходит".
5. Послать своих орлов на конференцию и там ввернуть в мозги конкурентам как космические корабли бороздят просторы Большого театра "мы оракл/мсскл уже не пилим, у нас крутые новые технологии, следуйте за нами, все будет хорошо", а тем временем дальше маленькой тестовой поделки это все не пускать.

Так что все хорошо - и разработчикам, и менеджерам проектов, и владельцам бизнеса (не такие и большие деньги на паре простаивающих серверов хадуп развернуть под бесплатный PowerBI Desktop).


можно еще несколько доводов в обоснование привести.
Когда денег куры не клюют и эти деньги не такие трудные, то чего бы амбиции не почесать.

Есть хорошее определение Бигдата - это большие деньги на ниве информационных технологий
17 янв 18, 17:23    [21114561]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Полковник.
Member

Откуда:
Сообщений: 1676
 		Критик,

Я на такие темы давно уже не ведусь.
Потому что знаю как в России все устроено...
Самый главный, например Греф из Сбера, придумал какуюнить шнягу или ему кто то из друганов сказал или втюхал что эта шняга это мега круть.
Вызвал он к себе наиглавнейшего айтишника, тот сказал сделаем - как два пальца и вызвал айтишника поменьше и так до самого низу
А внизу сидит рукожопый студент за 25 тыс. рублей которому на самом деле пофиг все на свете, особенно работа, он что то смастерил и даже кому то показал, скорее всего какой то даже отчет замастырил.
И потом пошло наверх по цепочке - сделали, в кровь расшиблись а сделали, никто же не хочет что бы его пинком под зад... и вот идет наиглавнейший айтишник к самому главному и говорит вот сделали, и еще сделаем ты только задание дай а мы уж расстараемся...
А на самом деле нихрена нет.
17 янв 18, 18:20    [21114666]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
s_ustinov
Member

Откуда: Lugano, CH
Сообщений: 1900
Alex_496
Есть хорошее определение Бигдата - это большие деньги на ниве информационных технологий


Не так давно рассказали байку.
В одной фирме с несколькими подразделениями работает 1С, разбитая на несколько баз.
И в центральной базе отчеты формируются медленно и нужные руководству не получается сделать.
На вопрос руководства - WTF?!?!!! ИТишники ответили, что "у нас же бигдата, это надо специальные технологии использовать, чтобы отчеты строить..."
Суммарный объем данных в центральной базе, куда все данные сливаются - меньше 100 гигабайт...
17 янв 18, 18:30    [21114682]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Yo.!
Guest
Полковник.
И потом пошло наверх по цепочке - сделали, в кровь расшиблись а сделали, никто же не хочет что бы его пинком под зад... и вот идет наиглавнейший айтишник к самому главному и говорит вот сделали, и еще сделаем ты только задание дай а мы уж расстараемся...
А на самом деле нихрена нет.

по факту как раз сбер единственный, кто хоть что-то делает. они единственные кто пытаются слезть с оракла на опен соурс. остальные говнокодят какой-нить 1с и думают что санкции их не вырубят в ноль.
если сберу в этом году удасться пересесть с оракла на apache ignite кластер в 2000 нод, как запланировано, ему многое можно будет простить.
17 янв 18, 18:48    [21114720]     Ответить | Цитировать Сообщить модератору
 Re: ВТБ, Hadoop, MS SQL  [new]
Yo.!
Guest
s_ustinov
На вопрос руководства - WTF?!?!!! ИТишники ответили, что "у нас же бигдата, это надо специальные технологии использовать, чтобы отчеты строить..."
Суммарный объем данных в центральной базе, куда все данные сливаются - меньше 100 гигабайт...

1с-никам какой инструмент не дай, результат был бы тот же. судить стоит по тем кто с руками, а не такжиков заставили убрать помещение и за одно налабать солюшен.
17 янв 18, 18:50    [21114726]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl→      все
Все форумы / OLAP и DWH Ответить