Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1611
Дедушка,

Так я и спрашиваю при чем тут биг-дата? Что с ней все носятся то, хадупы разворачивают надо и не надо, дальше то что? Ответа пока не услышал.
Три года назад в январе довелось мне на каком-то собрании читать небольшую лекцию о применении технологий биг-дата для построения реляционных ХД. Технологиях!!! Я и говорю, что биг-дата это ПЛАТФОРМА для решения конкретных задачь.
Какие конкретные задачи на этой платформе собирается решать, к примеру банк ВТБ? Что за фигня, зачем они полезли туда? И таких вот примеров вагон и маленькая тележка.
26 июл 17, 22:10    [20678056]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4662
Блог
Полковник.
Дедушка,

Так я и спрашиваю при чем тут биг-дата? Что с ней все носятся то, хадупы разворачивают надо и не надо, дальше то что? Ответа пока не услышал.
Три года назад в январе довелось мне на каком-то собрании читать небольшую лекцию о применении технологий биг-дата для построения реляционных ХД. Технологиях!!! Я и говорю, что биг-дата это ПЛАТФОРМА для решения конкретных задачь.
Какие конкретные задачи на этой платформе собирается решать, к примеру банк ВТБ? Что за фигня, зачем они полезли туда? И таких вот примеров вагон и маленькая тележка.
[youtube=]
26 июл 17, 22:53    [20678144]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Полковник.
Какие конкретные задачи на этой платформе собирается решать, к примеру банк ВТБ? Что за фигня, зачем они полезли туда? И таких вот примеров вагон и маленькая тележка.

а куда им еще надо было лезть ? в оракл и получить "ORA-100500 ваш баш банк совершил нелегальную операцию в Крыму, пожалуйста закройте банк и будьте впреть умнее ?"
26 июл 17, 22:57    [20678150]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 16385
биг-дата -- это в первую очередь "философский" вопрос.

Природа разнообразна, аморфна и рассредоточена,
реляционая база заранее фиксирована. Любая модель, формула,
закон всемирного тяготения или аеродинамики -- есть
рабочая попытка описать и обьяснить сложные явления
простымы связками. Законы прекрасно работают пока
не приходят новые вводные.

Развитие коммуникации привело к нелинейному росту
не только самих данных/фактов но и связок между ними.
Человеки перестали успевать находить связки в реальном
маштабе времени (т.е. дата анализ, дата дисковери не успевает к началу загрузки)
и обычные релационные базы просто
не могут уложить эти данные по полочкам -- связки не известны (пока).

Для таких (отнюдь не для всех) задач приходится делать EAV (дедушка даталейков),
даталейки, хадупы (для скейл-аут) и иже с ними.

На етапе записи подход "биг-дата" -- не заморачиваться
созданием новых структур, дата анализом, агрегацией...
Главное -- скушать все это ... будушее золото... и распихать по подземным
хранилишам.

На етапе чтения -- вот тут и начинается проблемы, ибо
schema-on-read ... читатель сам должен собирать структуру.
(то что до него уже сделано в обычных реляционных базах).

Тут вступает в игру противоречия

легко в записи - тяжело в чтении (в простейшем виде -- вспомним eav)

легко раскидать по дешевым ПС в хадупе -- ОЧЕНЬ тяжело
делать джоинты и искать корреляции по дистрибутед данным

легко работать с разрознеными статичными аморфными данными --
сложно работать с пре-структурироваными динамичными данными ...

короче -- биг-дата -- серьезный молоток для рассыпаных гвоздей разного размера
но плохонькая отвертка для набора шурупов....
26 июл 17, 23:28    [20678207]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4662
Блог
Yo.!
Полковник.
Какие конкретные задачи на этой платформе собирается решать, к примеру банк ВТБ? Что за фигня, зачем они полезли туда? И таких вот примеров вагон и маленькая тележка.

а куда им еще надо было лезть ? в оракл и получить "ORA-100500 ваш баш банк совершил нелегальную операцию в Крыму, пожалуйста закройте банк и будьте впреть умнее ?"
т.е. любой банк, собирающийся работать в Крыму просто обязан использовать big data? Мне кажется вы подменяется термином big data какой-то другой
27 июл 17, 02:30    [20678370]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
982183
Member

Откуда:
Сообщений: 617
Полковник.
982183
пропущено...

Любом.

Отличный ответ.

Согласен. Какой вопрос, такой и ответ.
27 июл 17, 02:41    [20678373]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Alexander Ryndin
т.е. любой банк, собирающийся работать в Крыму просто обязан использовать big data? Мне кажется вы подменяется термином big data какой-то другой

т.е. любой банк должен здраво оценивать риски и завязывать с русским авось, а у ВТБ, находящегося в санационном списке выбора и не было.

javajdbc
Для таких (отнюдь не для всех) задач приходится делать EAV (дедушка даталейков),
даталейки, хадупы (для скейл-аут) и иже с ними.

На етапе записи подход "биг-дата" -- не заморачиваться
созданием новых структур, дата анализом, агрегацией...
Главное -- скушать все это ... будушее золото... и распихать по подземным
хранилишам.

На етапе чтения -- вот тут и начинается проблемы, ибо
schema-on-read ...

религия никому не запрещает при записи сразу считать агрегаты и копировать на тот же хадуп эти же данные в реляционные структуры, типа витрин данных. BI инструменты уже давно не испытывают трудностей наджоинить в хадупе чего пожелаешь с помощью impala, tez или spark sql.
скушать и неструктурированные данные лишь дополнительная фишка, просто в истории с хадупом это ничего не стоит их записать и сохранить, ресурсы то резиновые.
27 июл 17, 08:30    [20678515]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1379
Теперь в трендах новый термин Clever Data . Нужно говорить всем , что этим занимаемся до того как это стало модным ) ))
28 июл 17, 09:54    [20681611]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
LSV
Member

Откуда: Киев
Сообщений: 29875
Бигдата, облака, хадупы, блокчейны, биткИ, эфиры, спиннеры........ это всё не более чем мемы.
Эра информации мыслит только мемами. Не важно какими, главное, что популярными мемами. Надо быть модным и в тренде.
Завтра появится очередная мемошняга - и все кинутся ее обсасывать, обсуждать, применять, делать разного рода перфомансы и инсталляции.... И прочее инфодрочево.
Людям просто нечем заняться на фоне прогрессирующего массового скудоумия.....
Кризис жанра, пацаны. :)
28 июл 17, 10:13    [20681669]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
точно. все крупные корпорации на самом деле dwh на foxpro держат, но что бы злые русские и мудрые украинцы не догадались напридумывали базвордов аля хадуп, дата лейки и прочие смешные слова. :)
28 июл 17, 11:21    [20681997]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
982183
Member

Откуда:
Сообщений: 617
Про мемы это конечно верно.
Но всё же, например, БД бух/фин системы и БД данных с датчиков технологической линии это совершенно разные вещи.
Даже если реализованы в одной СУБД.
И подходы к работе с данными совершенно другие.
28 июл 17, 16:26    [20683383]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 16385
essbase.ru
Теперь в трендах новый термин Clever Data . Нужно говорить всем , что этим занимаемся до того как это стало модным ) ))


...чаще "Smart Data"...
28 июл 17, 17:02    [20683504]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 16385
>>Yo.!

>> религия никому не запрещает при записи сразу считать агрегаты и копировать на тот же хадуп эти же данные в реляционные структуры, типа витрин данных.

...не то штоп религия не запрешает...сама идея биг-даты -- по слыслу есть ELT,
сначала загрузить а потом разбиратся... Агрегаты возможны если данные уже
про-анализированы, по факту : агрегаты уже есть модель.
А если мы говорим про пре-анализированые, уже смоделированые данные, то
что остается той Биг-Дате? скале-аут? так кластеры уже давно есть в
обычных реляционках...

Ну и вдобавок, агрегаты , по определению меньше исходных данных
и хотелось бы чтоб они лежали близко к аналитикам анд не размазаные по
сотням компютерам в сети...

Короче -- биг-дата не про агрегаты...

>>BI инструменты уже давно не испытывают трудностей наджоинить в хадупе чего пожелаешь с помощью impala, tez или spark sql.

...согласен, никаких трудностей : забил СКЛ с жоинтом и
можно пойти на обед... пока несколько джоинтов для регресивного
анализа вернется через мириарды нетворк-запросов...
можно спокойно пару гамбургеров с пивом уговорить....

>>скушать и неструктурированные данные лишь дополнительная фишка, просто в истории с хадупом это ничего не стоит их записать и сохранить, ресурсы то резиновые.

...вот тут реально где хадуп и нужен... на запись аморфных данных
хадуыт действительно резиновый... как я уже сказал,
реальная работа начинается при чтении... причем дистрибутивная
натура в лучшем случае НЕ помогает анализу и агрегации
28 июл 17, 17:19    [20683564]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 16385
LSV
Бигдата, облака, хадупы, блокчейны, биткИ, эфиры, спиннеры........ это всё не более чем мемы.
Эра информации мыслит только мемами. Не важно какими, главное, что популярными мемами. Надо быть модным и в тренде.
Завтра появится очередная мемошняга - и все кинутся ее обсасывать, обсуждать, применять, делать разного рода перфомансы и инсталляции.... И прочее инфодрочево.
Людям просто нечем заняться на фоне прогрессирующего массового скудоумия.....
Кризис жанра, пацаны. :)



...что за старперство? что за брузжание?
тот факт что огурец кто-то пихает в попу НЕ значит что
огурцы плохие. За каждым из етих модных слов
есть много интересных идей и технологий...

..почти по теме -- Безос обощел Била как самый богатый человек мира.
Амазон развил идею облаков, PaaS, IaaS сначала в ИТ
а сечас на реальную ретейл индустрию, логистику, медию, etc...
28 июл 17, 17:32    [20683601]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alex_496
Member

Откуда: Moscow http://dvbi.ru
Сообщений: 3443
essbase.ru
Теперь в трендах новый термин Clever Data . Нужно говорить всем , что этим занимаемся до того как это стало модным ) ))


ну тогда уж можно начинать говорить: сверхбольшие данные, непрерывные данные, галактика данных, монетизация галактики
28 июл 17, 21:15    [20683985]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
javajdbc
...не то штоп религия не запрешает...сама идея биг-даты -- по слыслу есть ELT,
сначала загрузить а потом разбиратся... Агрегаты возможны если данные уже
про-анализированы, по факту : агрегаты уже есть модель.
А если мы говорим про пре-анализированые, уже смоделированые данные, то
что остается той Биг-Дате? скале-аут? так кластеры уже давно есть в
обычных реляционках...

кластеры то есть, только смысла от них считай ноль. EE лицензия на оракл $55k+$20k rac option + $20k партишенинг + 18% супорт. и так за каждое ядрышко. что толку с таких кластеров при таких ценах ?

javajdbc
Ну и вдобавок, агрегаты , по определению меньше исходных данных
и хотелось бы чтоб они лежали близко к аналитикам анд не размазаные по
сотням компютерам в сети...

неосилил глубокую столь мысль.

javajdbc
...согласен, никаких трудностей : забил СКЛ с жоинтом и
можно пойти на обед... пока несколько джоинтов для регресивного
анализа вернется через мириарды нетворк-запросов...
можно спокойно пару гамбургеров с пивом уговорить....

ручки...
реально вот тесты tpc-ds на 10ТБ, джоинов там в запросиках полно, ответ в течении секунд. никаких проблем.
30 июл 17, 16:53    [20685909]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1611
Yo.!,

TPC-DS? Это не показатель, для тестов серверов и баз данных на задачи BI нужны тесты TPC-H. Да и джойны тоже разные бывают.
Как там у вас в бигдате с рекурсивным и оконными функциями, появились уже?
30 июл 17, 19:57    [20686208]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Полковник.
TPC-DS? Это не показатель, для тестов серверов и баз данных на задачи BI нужны тесты TPC-H. Да и джойны тоже разные бывают.
Как там у вас в бигдате с рекурсивным и оконными функциями, появились уже?

глупости пишешь. tpc-ds для замены tpc-h и был создан, т.к. tpc-h уже лет 15 считается устаревшим. именно в tpc-ds обычные факты, дименсии именно те джоины, что присущи dwh. и вот именно они выдают результ за секунды.

аналитические функции с окнами есть, как раз недавно мерились кодом sparkSQL vs mapreduce
http://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1219227&msg=20604267

рекурсивных вроде в импале нет.
30 июл 17, 20:46    [20686264]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
RioMare
Member

Откуда: EU
Сообщений: 269
Полковник.
Как там у вас в бигдате с рекурсивным и оконными функциями, появились уже?


А зачем именно в бигдате ? И то, и другое есть в R, про коммерческий SAS/ETS можно не упоминать :)
Как пример : было измерение Customer с 20 аттрибутами - нормальная задача для любого нормального BI.
После того, как тут ( в ЕС ) очень сильно изменились нормативные акты в области KYC/AML эти 20 аттрибутов превратились в 120+ ( теоретически неограниченно - на реплику по теме "галактика данных" :) ) где у половины отношение one-to-many.
Вся мощь рекурсивных и оконных функций Oracle это дело конечно перемолола, но на выходе получиласть совершенно неработоспособная структура.
Что Yo! наверное хочет сказать - требования к количесву обрабатываемой информации меняются и поэтому технология обработки данных тоже меняется. В своем роде профанация, но скажем blockchain очень сильно изменили способы скачивания пиратского софта :))
31 июл 17, 10:02    [20686954]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1611
RioMare,

Речь в данном месте идет о России. Что там у вас в EU мне, не ведомо.
31 июл 17, 11:09    [20687192]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1611
Yo.!

глупости пишешь. tpc-ds для замены tpc-h и был создан, т.к. tpc-h уже лет 15 считается устаревшим. именно в tpc-ds обычные факты, дименсии именно те джоины, что присущи dwh. и вот именно они выдают результ за секунды.

аналитические функции с окнами есть, как раз недавно мерились кодом sparkSQL vs mapreduce
http://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1219227&msg=20604267

рекурсивных вроде в импале нет.


это не я пишу глупости, это ты пытаешься притянуть за уши бигдату туда, где ее никто не ждет
tpc-h у тебя устарел, что у тебя еще там устарело, а то мужики то не знают? давай бухти дальше про космические корабли и большой театр
31 июл 17, 11:16    [20687237]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
RioMare
Member

Откуда: EU
Сообщений: 269
Полковник.
Дедушка,
Какие конкретные задачи на этой платформе собирается решать, к примеру банк ВТБ? Что за фигня, зачем они полезли туда?

Я далёк от ВТБ, но я бы сказал, что полезли они туда вот по этой причине - хотите работать на международных рынках, то пожалуйста будьте compliant, либо #давайдосвидания
31 июл 17, 11:54    [20687436]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
RioMare
Что Yo! наверное хочет сказать - требования к количесву обрабатываемой информации меняются и поэтому технология обработки данных тоже меняется. В своем роде профанация, но скажем blockchain очень сильно изменили способы скачивания пиратского софта :))

я хочу сказать, что технология реально работает и задешево заменяет dwh в реальных предприятиях. а сколько там данных не суть. потому все и носятся, потому что разница по деньгам невероятна.

Полковник.
это не я пишу глупости, это ты пытаешься притянуть за уши бигдату туда, где ее никто не ждет
tpc-h у тебя устарел, что у тебя еще там устарело, а то мужики то не знают? давай бухти дальше про космические корабли и большой театр

да, да. я тот самый темный Лорд, который пропихнул хадуп во все крупные мировые банки и устроил весь этот хайп. в одиночку :)
ты можешь громко пукнуть от возмущения но это не изменит тот факт, что tpc-h устарел и на его замену выкатили tpc-ds.
31 июл 17, 12:16    [20687513]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4662
Блог
RioMare
но скажем blockchain очень сильно изменили способы скачивания пиратского софта :))
Че-че?
31 июл 17, 12:30    [20687553]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
RioMare
Member

Откуда: EU
Сообщений: 269
Alexander Ryndin,

Offtop, но чего все носятся с торрентами, когда есть старый добрый FTP ? ( если по теме дискусии )
31 июл 17, 15:49    [20688712]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить