Добро пожаловать в форум, Guest >> Войти | Регистрация | Поиск | Правила | | В избранное | Подписаться | ||
Все форумы / OLAP и DWH |
![]() ![]() |
Топик располагается на нескольких страницах: [1] 2 вперед Ctrl→ все |
Критик Member Откуда: Москва / Калуга Сообщений: 30929 Блог |
Коллеги, есть смысл у такого решения?
Или просто неосилили глянуть видео? |
||
16 янв 18, 20:06 [21112009] Ответить | Цитировать Сообщить модератору |
T87 Member Откуда: Сообщений: 98 |
Критик, Или с лицензий Sql Server откаты получили? |
16 янв 18, 21:54 [21112220] Ответить | Цитировать Сообщить модератору |
мигель1 Member Откуда: Сообщений: 3174 |
По словам Батюкова, для реализации любого алгоритма в Hadoop требуются навыки в программировании. Что же касается Microsoft Power BI, то он позволяет аналитикам строить любые отчеты в рамках предварительно настроенной модели данных, источником которых является Hadoop Аналитеги не осилили sql?) |
16 янв 18, 21:57 [21112228] Ответить | Цитировать Сообщить модератору |
мигель1 Member Откуда: Сообщений: 3174 |
Хотя зря я так... Может Hive, impala, Power BI генерят хреновые мап редьюсы, что разрабам приходится все агрегаты тащить в БД? |
16 янв 18, 22:00 [21112239] Ответить | Цитировать Сообщить модератору |
Andy_OLAP Member Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион Сообщений: 3148 |
Критик, Смысла нет. Вот хорошая статья, как хадуп мучают парни из Селектела. А вот ключевой комментарий "Он действительно медленный. Это скорее болезнь Hadoop, лежащего в основе. Данные размером в 32Гб обрабатывались 15 минут, причем расход оперативки составил 91Гб? 180 млн записей? Простите, да банальнейший кластер Postgres сделал бы то же самое, да еще и (возможно) быстрее. С Hive та же беда....Хадуп — один из немногих инструментов для обработки действительно больших данных, но на данных средних размеров он бесполезен" и другой комментарий "...сам хотел добавить, что Vectorwise подобные подсчеты на 500 млн строк да еще и с джойном с таблицей из 10 млн строк выдал за 17 секунд в однонодовой конфигурации с 64 гигами и 8 ядрами". Ну а в PowerBI как начнут агрегированные на лету отчеты с общими суммами за весь год строить поверх готовой таблицы-витрины - так хадуп по сравнению с обычным DWH типа Vertica и умрет... Впрочем, видео таки не смотрел, посмотрю, насколько оно кошерное :) |
16 янв 18, 23:24 [21112397] Ответить | Цитировать Сообщить модератору |
Критик Member Откуда: Москва / Калуга Сообщений: 30929 Блог |
ну, не дураки же в MS, у Power BI и PolyBase одна компания-разработчик, вот мне и интересно, что им дало использование прослойки в виде PolyBase, кроме немаленьких затрат на лицензии |
||
16 янв 18, 23:26 [21112400] Ответить | Цитировать Сообщить модератору |
Andy_OLAP Member Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион Сообщений: 3148 |
На видео 2 миниатюрных таблички с номенклатурой и категориями номенклатуры. Идет аналитика последних цен по категориям. Просто показывается, что можно не из Excel файлика с 2 листами затянуть, а из HDFS. Ну концептуально интересно. В реальной жизни наверное сделать можно. Но зачем.... |
||
16 янв 18, 23:27 [21112402] Ответить | Цитировать Сообщить модератору |
Andy_OLAP Member Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион Сообщений: 3148 |
Критик, Вот смотрите - дорожная карта для 3-й версии хадупа. Понятно, что Cloudera и Hortonworks будут пилить расчеты на GPU. Это откусит кусок пирога от MS. Поэтому парни из Редмонда словно говорят - "вы таки всегда можете использовать кошерный HDFS в Azure облаке, не нужны вам расчеты на CPU. И даже можете отчеты на PowerBI сверху прикрутить и тоже в облаке. И никаких затрат на свое железо. Устойчиво, масштабируемо под нагрузку, |
16 янв 18, 23:32 [21112406] Ответить | Цитировать Сообщить модератору |
мигель1 Member Откуда: Сообщений: 3174 |
Если я правильно понял, они не запросы через poly base прокидывают, а тянут данные из хадупа и кладут из в витрины "В Hadoop хранится большое количество деталей, например, номер, дата, сумма транзакции, а в Power BI используются только агрегированные данные, например суммы комиссий». |
||||
16 янв 18, 23:53 [21112437] Ответить | Цитировать Сообщить модератору |
Yo.!
Guest |
у чудиков руки кривые. пиг как я понимаю хрень умершая до 2010, нафига труп было тестировать в 2014 не понятно. хайв, который в мап-редюс в 80% хрень генерит, особенно с джоинами. все что показал тест - отсутствие моска и не понимания как работает мап-редюс. лезть в хадуп через мсскл ... наркомания и тяжелая. |
||
16 янв 18, 23:54 [21112438] Ответить | Цитировать Сообщить модератору |
Критик Member Откуда: Москва / Калуга Сообщений: 30929 Блог |
Тогда подход выглядит странным вдвойне ) |
||
17 янв 18, 10:31 [21112978] Ответить | Цитировать Сообщить модератору |
Andy_OLAP Member Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион Сообщений: 3148 |
Такие проекты делаются для 5 и более целей: 1. Занять мозги программистов новой для них технологией, чтобы у них маразм от ослабления мозговой деятельности раньше времени не начался. 2. Поставить в резюме птичку "работал с hadoop, powerbi, много других страшных, крутых и непонятных слов" или "руководил внедрением тестовых моделей на новейших технологиях для апробации бизнес-идей". 3. В разговоре с другими владельцами бизнеса ввернуть "у меня мои на острие прогресса, хадуп пилят, powerbi крутят, у нас в банке/телекоме без новейших технологий ну просто никак, мы же флагман отрасли". 4. В разговоре с вендорами ввернуть "не хотите скидку на лицензии/продукты, мы на бесплатный хадуп перейдем, опыт есть, под наши потребности 5. Послать своих орлов на конференцию и там ввернуть в мозги конкурентам Так что все хорошо - и разработчикам, и менеджерам проектов, и владельцам бизнеса (не такие и большие деньги на паре простаивающих серверов хадуп развернуть под бесплатный PowerBI Desktop). |
||||
17 янв 18, 11:29 [21113200] Ответить | Цитировать Сообщить модератору |
s_ustinov Member Откуда: Munchen, DE Сообщений: 1961 |
Думаю, им просто нравится думать, что у них есть большие данные (большому банку - как без больших данных?) ![]() Это "большое количество деталей, например, номер, дата, сумма транзакции" прекрасно может храниться в обычной РСУБД - не настолько там много транзакций. Но это ведь не модно и не современно... Вот и придумывают себе большие данные. Ну а чё - в ексель ведь не помещаются - значит, большие! ![]() |
||||
17 янв 18, 13:44 [21113787] Ответить | Цитировать Сообщить модератору |
Yo.!
Guest |
обычная РСУБД необычно счет большой счет выставит большому банку. на столько большой, что никакого смысла с обычной РСУБД связываться нет. потому и придумывают бигдата. а вот в чем смысл придумывать бигдата с мсскл, которая все приключения хадуп перемножит на счета мсскл мало понятно. |
||
17 янв 18, 15:27 [21114199] Ответить | Цитировать Сообщить модератору |
s_ustinov Member Откуда: Munchen, DE Сообщений: 1961 |
10 лет назад Yahoo в почти обычной РСУБД хранил пару петабайт. И счет за РСУБД был, я так подозреваю, не запредельный. ![]() Другое дело, что на спецов пришлось потратиться - но на них всегда тратиться надо. Бизнес-данные (транзакции, проводки и тп) - это не бигдата. И для них еще 40 лет назад придумали РСУБД. |
||||
17 янв 18, 15:53 [21114273] Ответить | Цитировать Сообщить модератору |
Ivan Durak Member Откуда: Minsk!!! Сообщений: 3525 |
ну пусть не обычная - пусть опенсорсная субд - например Greenplum - опенсорс уже пару лет как. |
||||
17 янв 18, 15:56 [21114285] Ответить | Цитировать Сообщить модератору |
Yo.!
Guest |
в 90х помню и на foxpro люди извращались и строили на гигабайтных файликах. врятли то был показатель крутости. помню Yahoo и на пых-пых одно время сидел.
не знаю. мне казалось Greenplum таки остался ближе к рсубд с индексами, форейн кеями и транзакциями. |
||||
17 янв 18, 16:25 [21114367] Ответить | Цитировать Сообщить модератору |
Ivan Durak Member Откуда: Minsk!!! Сообщений: 3525 |
+ MPP и Колумн сторе. То что доктор прописал для финансовой аналитики. |
||||
17 янв 18, 16:29 [21114379] Ответить | Цитировать Сообщить модератору |
Дедушка Member Откуда: Город трёх революций Сообщений: 5112 |
Ivan Durak, опенсорсная слива с ограничениями или вопрос только в саппорте? |
17 янв 18, 16:32 [21114382] Ответить | Цитировать Сообщить модератору |
Ivan Durak Member Откуда: Minsk!!! Сообщений: 3525 |
только в саппорте. |
||
17 янв 18, 16:38 [21114409] Ответить | Цитировать Сообщить модератору |
Alex_496 Member Откуда: Сообщений: 3778 |
можно еще несколько доводов в обоснование привести. Когда денег куры не клюют и эти деньги не такие трудные, то чего бы амбиции не почесать. Есть хорошее определение Бигдата - это большие деньги на ниве информационных технологий |
||||
17 янв 18, 17:23 [21114561] Ответить | Цитировать Сообщить модератору |
Полковник. Member Откуда: Сообщений: 1801 |
Критик, Я на такие темы давно уже не ведусь. Потому что знаю как в России все устроено... Самый главный, например Греф из Сбера, придумал какуюнить шнягу или ему кто то из друганов сказал или втюхал что эта шняга это мега круть. Вызвал он к себе наиглавнейшего айтишника, тот сказал сделаем - как два пальца и вызвал айтишника поменьше и так до самого низу А внизу сидит рукожопый студент за 25 тыс. рублей которому на самом деле пофиг все на свете, особенно работа, он что то смастерил и даже кому то показал, скорее всего какой то даже отчет замастырил. И потом пошло наверх по цепочке - сделали, в кровь расшиблись а сделали, никто же не хочет что бы его пинком под зад... и вот идет наиглавнейший айтишник к самому главному и говорит вот сделали, и еще сделаем ты только задание дай а мы уж расстараемся... А на самом деле нихрена нет. |
17 янв 18, 18:20 [21114666] Ответить | Цитировать Сообщить модератору |
s_ustinov Member Откуда: Munchen, DE Сообщений: 1961 |
![]() Не так давно рассказали байку. В одной фирме с несколькими подразделениями работает 1С, разбитая на несколько баз. И в центральной базе отчеты формируются медленно и нужные руководству не получается сделать. На вопрос руководства - WTF?!?!!! ИТишники ответили, что "у нас же бигдата, это надо специальные технологии использовать, чтобы отчеты строить..." Суммарный объем данных в центральной базе, куда все данные сливаются - меньше 100 гигабайт... |
||
17 янв 18, 18:30 [21114682] Ответить | Цитировать Сообщить модератору |
Yo.!
Guest |
по факту как раз сбер единственный, кто хоть что-то делает. они единственные кто пытаются слезть с оракла на опен соурс. остальные говнокодят какой-нить 1с и думают что санкции их не вырубят в ноль. если сберу в этом году удасться пересесть с оракла на apache ignite кластер в 2000 нод, как запланировано, ему многое можно будет простить. |
||
17 янв 18, 18:48 [21114720] Ответить | Цитировать Сообщить модератору |
Yo.!
Guest |
1с-никам какой инструмент не дай, результат был бы тот же. судить стоит по тем кто с руками, а не такжиков заставили убрать помещение и за одно налабать солюшен. |
||
17 янв 18, 18:50 [21114726] Ответить | Цитировать Сообщить модератору |
Топик располагается на нескольких страницах: [1] 2 вперед Ctrl→ все |
Все форумы / OLAP и DWH | ![]() |