Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2 3      [все]
 Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1607
80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота? Золота в шлаке нет и никогда не было.
КА оборвали телефон последнее время - нужен срочно, завтра сдавать заказчику, мега спец на мега проект в мегабанк на бигдаду. Устал объяснять как дедушка Инмон - бигдата никакого отношения к хранилищам данных не имело, не имеет и иметь не будет, это платформа для специфических задач.
Нафига эта бигдата? Скоринг в банке? Он и раньше без бигдаты работал. Столько спама с этой бигдатой сыпется, сума все посходили что ли.
18 июл 17, 16:39    [20654831]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3509
пишу и поглядываю как процессится куб.

Ну младо-эффективные начальники, которые не отягощены багажом инженерной высшей школы.
Им в банках и аффилированных ритейлах пресейлы и западные коучи напели песен про монетизацию больших данных. Тренд задан на самом верхнем уровне. Как же под это дело не подсуетиться. В начале 2000х аналогичный угар был по CRM
18 июл 17, 17:02    [20654926]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Полковник.
Нафига эта бигдата?

замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.
18 июл 17, 17:21    [20655019]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Владимир Штепа
Member

Откуда: Hannover
Сообщений: 6001
Yo.!,

Бесплатный сыр только вы мышеловке.
18 июл 17, 17:40    [20655100]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1607
Yo.!
Полковник.
Нафига эта бигдата?

замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.


Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.
18 июл 17, 17:40    [20655103]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Полковник.
Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.

у нас по сути заменили.
маркетинговый булшит это ассоциировать бигдату с неструктированными данными. неструктурированные данные лишь одна из опций, у нас вот ничего неструктурированного почти и нет. многие и не в курсе что там под низом SAS dataminer или под отчетиками уже не оракл.
18 июл 17, 17:45    [20655121]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4704
Блог
Yo.!
Полковник.
Нафига эта бигдата?

замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.
Вот об этом как раз и поют продавцы Big Data. :) Все не так просто.
18 июл 17, 18:46    [20655294]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4704
Блог
Yo.!
Полковник.
Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.

у нас по сути заменили.
маркетинговый булшит это ассоциировать бигдату с неструктированными данными. неструктурированные данные лишь одна из опций, у нас вот ничего неструктурированного почти и нет. многие и не в курсе что там под низом SAS dataminer или под отчетиками уже не оракл.
Мне кажется, что на фоне SAS dataminer стоимость Oracle копейки, а вот геморроя море добавилось...
18 июл 17, 18:48    [20655299]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
RioMare
Member

Откуда: EU
Сообщений: 269
Yo.!
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно
все дело в деньгах.

Я бы сказал, что те, кто предполагает оперировать в digital channels в связке DWH + аналитика просто вкладываются в аналитику, поскольку возможностей на порядок больше, поэтому всё то, что SAS/ETS или SAS/IML считает довольно шустро вещи, на которых Oracle просто дохнет. А платить за Ora только для того, чтобы данные хранить конечно можно, только big data тупо дешевле.
Nothing special, just business
18 июл 17, 19:03    [20655358]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3509
Я что-то не понимаю?
Разве Big Data не подразумевает хорошее знание мат. статистики?
На кой черт Datamining, если нет серьзных познаний и опыта в мат. статист. методах
18 июл 17, 20:04    [20655479]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Alexander Ryndin
Вот об этом как раз и поют продавцы Big Data. :) Все не так просто.

все не так просто. все эти RAC, dataguard, унылые сториджи с hdd жрут запредельные суммы, но на выходе дба падают в обморок, когда я попрошу +1ТБ на поиграться. нет смысла вкладываться в лицензии, которые всегда будут ограничивать хотелки бизнеса. уже понятно, что раздувание штата под бигдату разумней вложение. хадуп уже в состоянии заменить, но при этом инструменты прогрессируют с бешенной скоростью.
а продавцы, хрень какую-то продают: то какие-то оракл бигдата, со всеми минусами обоих миров в квадрате, то даталейк помойки, не пойми для чего накапливаемые. данные новая нефть (тм) и ржут

Alex_496
Я что-то не понимаю?
Разве Big Data не подразумевает хорошее знание мат. статистики?
На кой черт Datamining, если нет серьзных познаний и опыта в мат. статист. методах

нет, бигдата ничего не поразумевает. хадуп просто набор фреймворков, терминами оракла продуктов. как и у оракла там тьма продуктов в линейках. просто у оракла каждый продукт это миллион $$$ со скидкой от вендора, а тут божеские цены и большой напильник в подарок. среди них есть и spark с его либами машин лёрнинга, есть коннекторы к sas dataminer и куча другого хлама, который никто не обязывает использовать.
и на счет статистики, а на кой аналитику познания в мат статистике ? аналитик не разрабатывает прогрессивные методы анализа, его удел очистить данные и потыркать next в визарде sas dataminer. натыркать linear regression модель знаний статистики, что дает бакалавр за глаза. глубоко разбираться в статистике и алгаритмах уже задача дата сайнтиста.
18 июл 17, 21:12    [20655593]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3509
ради чего весь сыр бор?
что за монетизация данных?
что в итоге реклама и предложения будут еще более назойливыми и влазить в приватную жизнь людей?
и не оставлять им права выбора, а клевать будут прямо в мозг? качество товаров падает, зато будут таргетировать покупателей. только подумал, не успел одуматься - а тебе уже впарили кредит, услугу или одноразовый товар
18 июл 17, 21:40    [20655647]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31500
Блог
по чем сейчас 1Тб бигдаты для enterprise?
чисто если по месту, без всего остального
18 июл 17, 21:43    [20655650]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
bbx1389
Member

Откуда: Русија
Сообщений: 23947
ибо попил будет страшный
Силуанов: big data позволит кратно уменьшить теневой сектор


Автоматизация электронных счетов-фактур по НДС, данных Таможенной службы, данных о розничных продажах позволит очень сильно сократить теневой сектор российской экономики. Об этом заявил министр финансов РФ Антон Силуанов на парламентских слушаниях по теме «Основные направления бюджетной, налоговой и таможенно-тарифной политики на 2018 год и плановый период 2019 и 2020 годов».

«Автоматизация такого большого массива данных, как говорят сейчас, big data позволит кратно сократить теневой сектор, где не платятся сегодня налоги. Это наша одна из ключевых задач», — рассказал он в Государственной думе.


«(Наша) задача — цифровизация интеграции всех потоков данных в единое информационное пространство налогового администрирования. Это и электронные счета-фактуры НДС, данные Таможенной службы, данные о розничных продажах, которые мы будем собирать от контрольно-кассовой техники в единую базу и в единое облако и которые будут анализироваться Налоговой службой», — пояснил министр.


при заходе на уровень министра , технологический вопрос уходит на второй, а то и третий план
20 июл 17, 09:47    [20659980]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1855
bbx1389
ибо попил будет страшный
Силуанов: big data позволит кратно уменьшить теневой сектор
«Автоматизация такого большого массива данных, как говорят сейчас, big data

при заходе на уровень министра , технологический вопрос уходит на второй, а то и третий план


Ну да понты с дословным переводом.
Для кого то и файл Excel с миллионом строк, это такая биг дата и наш отдел самый геройский работает сутками на благо компании.
21 июл 17, 09:58    [20663741]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4671
Полковник.
бигдата никакого отношения к хранилищам данных не имело, не имеет и иметь не будет, это платформа для специфических задач.
исключительно имхо...
если под "бигдатой" понимать классическое определение "наличие 3V", то этой самой бигдатой может стать (ну несколько утрировано) любой набор данных.
при этом основная задача хранилища данных хранить эти данные (как бы банально это не звучало) и отдавать по запросам.
как именно вы будете их хранить зависит только от вас, да хоть на ДНК записывайте...
основная идея заложенная в эту "бигдату" это масштабирование.
если вам оно не нужно ну и не нужно, если вы можете решить проблему масштабирования в рамках другой платформы, то почему бы и нет - это всего лишь инструменты.
21 июл 17, 21:56    [20665900]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Кэптен
Member

Откуда: Kiev
Сообщений: 207
Критик
по чем сейчас 1Тб бигдаты для enterprise?
чисто если по месту, без всего остального

По разному, обычно 1к долл. В Экзадате тоже будет стоить 50к.
Yo очень точно всё сказал, если предприятие соблюдает лицензионную чистоту, то платит дурные деньги за реляционки.
Поэтому делают расширение DWH. Например в телекомах все данные хранят в Хадупе (шара по деньгам), там же делают пре-ETL (очистка, трансформация, расчет агрегатов), а результаты уже в реляционку. Тоже касается банков.
Хотя есть реальные примеры и монетизации и пользы, я как-то 12 штук рассказывал одному клиенту. Например, идёт должник банка мимо отделения банка, ему сообщение: "вы проходите мимо нашего отделения, зайдите и погасите кредит". Давит на психику должника. Средства спама и антиспама. Работа с веб-данными (а это огромные объемы).
22 июл 17, 20:28    [20667031]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 5228
Кэптен
Например, идёт должник банка мимо отделения банка, ему сообщение: "вы проходите мимо нашего отделения, зайдите и погасите кредит". Давит на психику должника. Средства спама и антиспама. Работа с веб-данными (а это огромные объемы).

Очень плохой пример, это уже отслеживание местоположения человека, можно и иск отгрести.
А в целом для работника выгодно чтобы система(софт, железо, работы) на которой он работает стоила как можно дороже. Если компания экономит на системе, значит скоро начнет экономить и на работнике. Перефразируя известного застройщика-сидельца "Компании у которых нет денег на exadata(нужное вписать) могут идти в ..."
26 июл 17, 13:44    [20676416]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
982183
Member

Откуда:
Сообщений: 1358
Полковник.
80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота?

Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.
26 июл 17, 14:05    [20676518]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1607
982183
Полковник.
80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота?

Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.

О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.
26 июл 17, 14:53    [20676701]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
982183
Member

Откуда:
Сообщений: 1358
Полковник.
О каком массиве данных идёт речь?

Любом.
26 июл 17, 15:10    [20676778]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Полковник.
О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.

нахрена такой канторе вообще DWH, если даже остатки не в состоянии загрузить ? и смысл в них спустя 2 года ? подозреваю "предприятие" как эти два года жило без DWH и следующие проживет без этого DWH.
26 июл 17, 15:30    [20676853]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3509
Полковник.
982183
пропущено...

Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.

О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.


:)
ну у нас тоже то 200+ млн. руб. недостачи несколько месяцев жили и не замечали, то 7 млрд. руб. в прошедшие периоды пропали.
Но корпоративная этика превыше всего как ангулярность агилистического скрама
26 июл 17, 18:37    [20677640]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1607
982183
Полковник.
О каком массиве данных идёт речь?

Любом.

Отличный ответ.
26 июл 17, 19:20    [20677739]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4671
Полковник.
Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.
дак, а причём здесь бигдата то?
если вам привезли гвозди, а у вас отвёртка, то отвёртка не плоха, отнюдь.
опять же, ваша мысль понятна, но вот вы рассуждаете прямолинейно, как разработчик (ну, так это выглядит, могу ошибаться), а с позиции архитектора и топ-менеджера (ну, так, сферического) бигдату вы поднимете не сразу, а за это время и данные из первичек почистят и глядишь НСИ и МДМ как нибудь подтянут...
короче не складывать все яйца к вам в карман.
26 июл 17, 21:22    [20677955]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1607
Дедушка,

Так я и спрашиваю при чем тут биг-дата? Что с ней все носятся то, хадупы разворачивают надо и не надо, дальше то что? Ответа пока не услышал.
Три года назад в январе довелось мне на каком-то собрании читать небольшую лекцию о применении технологий биг-дата для построения реляционных ХД. Технологиях!!! Я и говорю, что биг-дата это ПЛАТФОРМА для решения конкретных задачь.
Какие конкретные задачи на этой платформе собирается решать, к примеру банк ВТБ? Что за фигня, зачем они полезли туда? И таких вот примеров вагон и маленькая тележка.
26 июл 17, 22:10    [20678056]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4704
Блог
Полковник.
Дедушка,

Так я и спрашиваю при чем тут биг-дата? Что с ней все носятся то, хадупы разворачивают надо и не надо, дальше то что? Ответа пока не услышал.
Три года назад в январе довелось мне на каком-то собрании читать небольшую лекцию о применении технологий биг-дата для построения реляционных ХД. Технологиях!!! Я и говорю, что биг-дата это ПЛАТФОРМА для решения конкретных задачь.
Какие конкретные задачи на этой платформе собирается решать, к примеру банк ВТБ? Что за фигня, зачем они полезли туда? И таких вот примеров вагон и маленькая тележка.
[youtube=]
26 июл 17, 22:53    [20678144]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Полковник.
Какие конкретные задачи на этой платформе собирается решать, к примеру банк ВТБ? Что за фигня, зачем они полезли туда? И таких вот примеров вагон и маленькая тележка.

а куда им еще надо было лезть ? в оракл и получить "ORA-100500 ваш баш банк совершил нелегальную операцию в Крыму, пожалуйста закройте банк и будьте впреть умнее ?"
26 июл 17, 22:57    [20678150]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
биг-дата -- это в первую очередь "философский" вопрос.

Природа разнообразна, аморфна и рассредоточена,
реляционая база заранее фиксирована. Любая модель, формула,
закон всемирного тяготения или аеродинамики -- есть
рабочая попытка описать и обьяснить сложные явления
простымы связками. Законы прекрасно работают пока
не приходят новые вводные.

Развитие коммуникации привело к нелинейному росту
не только самих данных/фактов но и связок между ними.
Человеки перестали успевать находить связки в реальном
маштабе времени (т.е. дата анализ, дата дисковери не успевает к началу загрузки)
и обычные релационные базы просто
не могут уложить эти данные по полочкам -- связки не известны (пока).

Для таких (отнюдь не для всех) задач приходится делать EAV (дедушка даталейков),
даталейки, хадупы (для скейл-аут) и иже с ними.

На етапе записи подход "биг-дата" -- не заморачиваться
созданием новых структур, дата анализом, агрегацией...
Главное -- скушать все это ... будушее золото... и распихать по подземным
хранилишам.

На етапе чтения -- вот тут и начинается проблемы, ибо
schema-on-read ... читатель сам должен собирать структуру.
(то что до него уже сделано в обычных реляционных базах).

Тут вступает в игру противоречия

легко в записи - тяжело в чтении (в простейшем виде -- вспомним eav)

легко раскидать по дешевым ПС в хадупе -- ОЧЕНЬ тяжело
делать джоинты и искать корреляции по дистрибутед данным

легко работать с разрознеными статичными аморфными данными --
сложно работать с пре-структурироваными динамичными данными ...

короче -- биг-дата -- серьезный молоток для рассыпаных гвоздей разного размера
но плохонькая отвертка для набора шурупов....
26 июл 17, 23:28    [20678207]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4704
Блог
Yo.!
Полковник.
Какие конкретные задачи на этой платформе собирается решать, к примеру банк ВТБ? Что за фигня, зачем они полезли туда? И таких вот примеров вагон и маленькая тележка.

а куда им еще надо было лезть ? в оракл и получить "ORA-100500 ваш баш банк совершил нелегальную операцию в Крыму, пожалуйста закройте банк и будьте впреть умнее ?"
т.е. любой банк, собирающийся работать в Крыму просто обязан использовать big data? Мне кажется вы подменяется термином big data какой-то другой
27 июл 17, 02:30    [20678370]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
982183
Member

Откуда:
Сообщений: 1358
Полковник.
982183
пропущено...

Любом.

Отличный ответ.

Согласен. Какой вопрос, такой и ответ.
27 июл 17, 02:41    [20678373]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Alexander Ryndin
т.е. любой банк, собирающийся работать в Крыму просто обязан использовать big data? Мне кажется вы подменяется термином big data какой-то другой

т.е. любой банк должен здраво оценивать риски и завязывать с русским авось, а у ВТБ, находящегося в санационном списке выбора и не было.

javajdbc
Для таких (отнюдь не для всех) задач приходится делать EAV (дедушка даталейков),
даталейки, хадупы (для скейл-аут) и иже с ними.

На етапе записи подход "биг-дата" -- не заморачиваться
созданием новых структур, дата анализом, агрегацией...
Главное -- скушать все это ... будушее золото... и распихать по подземным
хранилишам.

На етапе чтения -- вот тут и начинается проблемы, ибо
schema-on-read ...

религия никому не запрещает при записи сразу считать агрегаты и копировать на тот же хадуп эти же данные в реляционные структуры, типа витрин данных. BI инструменты уже давно не испытывают трудностей наджоинить в хадупе чего пожелаешь с помощью impala, tez или spark sql.
скушать и неструктурированные данные лишь дополнительная фишка, просто в истории с хадупом это ничего не стоит их записать и сохранить, ресурсы то резиновые.
27 июл 17, 08:30    [20678515]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
Теперь в трендах новый термин Clever Data . Нужно говорить всем , что этим занимаемся до того как это стало модным ) ))
28 июл 17, 09:54    [20681611]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
LSV
Member

Откуда: Киев
Сообщений: 30150
Бигдата, облака, хадупы, блокчейны, биткИ, эфиры, спиннеры........ это всё не более чем мемы.
Эра информации мыслит только мемами. Не важно какими, главное, что популярными мемами. Надо быть модным и в тренде.
Завтра появится очередная мемошняга - и все кинутся ее обсасывать, обсуждать, применять, делать разного рода перфомансы и инсталляции.... И прочее инфодрочево.
Людям просто нечем заняться на фоне прогрессирующего массового скудоумия.....
Кризис жанра, пацаны. :)
28 июл 17, 10:13    [20681669]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
точно. все крупные корпорации на самом деле dwh на foxpro держат, но что бы злые русские и мудрые украинцы не догадались напридумывали базвордов аля хадуп, дата лейки и прочие смешные слова. :)
28 июл 17, 11:21    [20681997]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
982183
Member

Откуда:
Сообщений: 1358
Про мемы это конечно верно.
Но всё же, например, БД бух/фин системы и БД данных с датчиков технологической линии это совершенно разные вещи.
Даже если реализованы в одной СУБД.
И подходы к работе с данными совершенно другие.
28 июл 17, 16:26    [20683383]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
essbase.ru
Теперь в трендах новый термин Clever Data . Нужно говорить всем , что этим занимаемся до того как это стало модным ) ))


...чаще "Smart Data"...
28 июл 17, 17:02    [20683504]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
>>Yo.!

>> религия никому не запрещает при записи сразу считать агрегаты и копировать на тот же хадуп эти же данные в реляционные структуры, типа витрин данных.

...не то штоп религия не запрешает...сама идея биг-даты -- по слыслу есть ELT,
сначала загрузить а потом разбиратся... Агрегаты возможны если данные уже
про-анализированы, по факту : агрегаты уже есть модель.
А если мы говорим про пре-анализированые, уже смоделированые данные, то
что остается той Биг-Дате? скале-аут? так кластеры уже давно есть в
обычных реляционках...

Ну и вдобавок, агрегаты , по определению меньше исходных данных
и хотелось бы чтоб они лежали близко к аналитикам анд не размазаные по
сотням компютерам в сети...

Короче -- биг-дата не про агрегаты...

>>BI инструменты уже давно не испытывают трудностей наджоинить в хадупе чего пожелаешь с помощью impala, tez или spark sql.

...согласен, никаких трудностей : забил СКЛ с жоинтом и
можно пойти на обед... пока несколько джоинтов для регресивного
анализа вернется через мириарды нетворк-запросов...
можно спокойно пару гамбургеров с пивом уговорить....

>>скушать и неструктурированные данные лишь дополнительная фишка, просто в истории с хадупом это ничего не стоит их записать и сохранить, ресурсы то резиновые.

...вот тут реально где хадуп и нужен... на запись аморфных данных
хадуыт действительно резиновый... как я уже сказал,
реальная работа начинается при чтении... причем дистрибутивная
натура в лучшем случае НЕ помогает анализу и агрегации
28 июл 17, 17:19    [20683564]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
LSV
Бигдата, облака, хадупы, блокчейны, биткИ, эфиры, спиннеры........ это всё не более чем мемы.
Эра информации мыслит только мемами. Не важно какими, главное, что популярными мемами. Надо быть модным и в тренде.
Завтра появится очередная мемошняга - и все кинутся ее обсасывать, обсуждать, применять, делать разного рода перфомансы и инсталляции.... И прочее инфодрочево.
Людям просто нечем заняться на фоне прогрессирующего массового скудоумия.....
Кризис жанра, пацаны. :)



...что за старперство? что за брузжание?
тот факт что огурец кто-то пихает в попу НЕ значит что
огурцы плохие. За каждым из етих модных слов
есть много интересных идей и технологий...

..почти по теме -- Безос обощел Била как самый богатый человек мира.
Амазон развил идею облаков, PaaS, IaaS сначала в ИТ
а сечас на реальную ретейл индустрию, логистику, медию, etc...
28 июл 17, 17:32    [20683601]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3509
essbase.ru
Теперь в трендах новый термин Clever Data . Нужно говорить всем , что этим занимаемся до того как это стало модным ) ))


ну тогда уж можно начинать говорить: сверхбольшие данные, непрерывные данные, галактика данных, монетизация галактики
28 июл 17, 21:15    [20683985]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
javajdbc
...не то штоп религия не запрешает...сама идея биг-даты -- по слыслу есть ELT,
сначала загрузить а потом разбиратся... Агрегаты возможны если данные уже
про-анализированы, по факту : агрегаты уже есть модель.
А если мы говорим про пре-анализированые, уже смоделированые данные, то
что остается той Биг-Дате? скале-аут? так кластеры уже давно есть в
обычных реляционках...

кластеры то есть, только смысла от них считай ноль. EE лицензия на оракл $55k+$20k rac option + $20k партишенинг + 18% супорт. и так за каждое ядрышко. что толку с таких кластеров при таких ценах ?

javajdbc
Ну и вдобавок, агрегаты , по определению меньше исходных данных
и хотелось бы чтоб они лежали близко к аналитикам анд не размазаные по
сотням компютерам в сети...

неосилил глубокую столь мысль.

javajdbc
...согласен, никаких трудностей : забил СКЛ с жоинтом и
можно пойти на обед... пока несколько джоинтов для регресивного
анализа вернется через мириарды нетворк-запросов...
можно спокойно пару гамбургеров с пивом уговорить....

ручки...
реально вот тесты tpc-ds на 10ТБ, джоинов там в запросиках полно, ответ в течении секунд. никаких проблем.
30 июл 17, 16:53    [20685909]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1607
Yo.!,

TPC-DS? Это не показатель, для тестов серверов и баз данных на задачи BI нужны тесты TPC-H. Да и джойны тоже разные бывают.
Как там у вас в бигдате с рекурсивным и оконными функциями, появились уже?
30 июл 17, 19:57    [20686208]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Полковник.
TPC-DS? Это не показатель, для тестов серверов и баз данных на задачи BI нужны тесты TPC-H. Да и джойны тоже разные бывают.
Как там у вас в бигдате с рекурсивным и оконными функциями, появились уже?

глупости пишешь. tpc-ds для замены tpc-h и был создан, т.к. tpc-h уже лет 15 считается устаревшим. именно в tpc-ds обычные факты, дименсии именно те джоины, что присущи dwh. и вот именно они выдают результ за секунды.

аналитические функции с окнами есть, как раз недавно мерились кодом sparkSQL vs mapreduce
http://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1219227&msg=20604267

рекурсивных вроде в импале нет.
30 июл 17, 20:46    [20686264]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
RioMare
Member

Откуда: EU
Сообщений: 269
Полковник.
Как там у вас в бигдате с рекурсивным и оконными функциями, появились уже?


А зачем именно в бигдате ? И то, и другое есть в R, про коммерческий SAS/ETS можно не упоминать :)
Как пример : было измерение Customer с 20 аттрибутами - нормальная задача для любого нормального BI.
После того, как тут ( в ЕС ) очень сильно изменились нормативные акты в области KYC/AML эти 20 аттрибутов превратились в 120+ ( теоретически неограниченно - на реплику по теме "галактика данных" :) ) где у половины отношение one-to-many.
Вся мощь рекурсивных и оконных функций Oracle это дело конечно перемолола, но на выходе получиласть совершенно неработоспособная структура.
Что Yo! наверное хочет сказать - требования к количесву обрабатываемой информации меняются и поэтому технология обработки данных тоже меняется. В своем роде профанация, но скажем blockchain очень сильно изменили способы скачивания пиратского софта :))
31 июл 17, 10:02    [20686954]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1607
RioMare,

Речь в данном месте идет о России. Что там у вас в EU мне, не ведомо.
31 июл 17, 11:09    [20687192]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1607
Yo.!

глупости пишешь. tpc-ds для замены tpc-h и был создан, т.к. tpc-h уже лет 15 считается устаревшим. именно в tpc-ds обычные факты, дименсии именно те джоины, что присущи dwh. и вот именно они выдают результ за секунды.

аналитические функции с окнами есть, как раз недавно мерились кодом sparkSQL vs mapreduce
http://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1219227&msg=20604267

рекурсивных вроде в импале нет.


это не я пишу глупости, это ты пытаешься притянуть за уши бигдату туда, где ее никто не ждет
tpc-h у тебя устарел, что у тебя еще там устарело, а то мужики то не знают? давай бухти дальше про космические корабли и большой театр
31 июл 17, 11:16    [20687237]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
RioMare
Member

Откуда: EU
Сообщений: 269
Полковник.
Дедушка,
Какие конкретные задачи на этой платформе собирается решать, к примеру банк ВТБ? Что за фигня, зачем они полезли туда?

Я далёк от ВТБ, но я бы сказал, что полезли они туда вот по этой причине - хотите работать на международных рынках, то пожалуйста будьте compliant, либо #давайдосвидания
31 июл 17, 11:54    [20687436]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
RioMare
Что Yo! наверное хочет сказать - требования к количесву обрабатываемой информации меняются и поэтому технология обработки данных тоже меняется. В своем роде профанация, но скажем blockchain очень сильно изменили способы скачивания пиратского софта :))

я хочу сказать, что технология реально работает и задешево заменяет dwh в реальных предприятиях. а сколько там данных не суть. потому все и носятся, потому что разница по деньгам невероятна.

Полковник.
это не я пишу глупости, это ты пытаешься притянуть за уши бигдату туда, где ее никто не ждет
tpc-h у тебя устарел, что у тебя еще там устарело, а то мужики то не знают? давай бухти дальше про космические корабли и большой театр

да, да. я тот самый темный Лорд, который пропихнул хадуп во все крупные мировые банки и устроил весь этот хайп. в одиночку :)
ты можешь громко пукнуть от возмущения но это не изменит тот факт, что tpc-h устарел и на его замену выкатили tpc-ds.
31 июл 17, 12:16    [20687513]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4704
Блог
RioMare
но скажем blockchain очень сильно изменили способы скачивания пиратского софта :))
Че-че?
31 июл 17, 12:30    [20687553]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
RioMare
Member

Откуда: EU
Сообщений: 269
Alexander Ryndin,

Offtop, но чего все носятся с торрентами, когда есть старый добрый FTP ? ( если по теме дискусии )
31 июл 17, 15:49    [20688712]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
romskom
Member

Откуда:
Сообщений: 85
Кто носится то?
Вакансий считай и нет по BigData
31 июл 17, 16:09    [20688840]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
romskom
Кто носится то?
Вакансий считай и нет по BigData



....where how... (C)
31 июл 17, 16:13    [20688866]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4704
Блог
RioMare
Alexander Ryndin,

Offtop, но чего все носятся с торрентами, когда есть старый добрый FTP ? ( если по теме дискусии )
какое отношение торрент имеет к blockchain?
31 июл 17, 23:26    [20689782]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
haXbat
Member

Откуда:
Сообщений: 440
romskom
Кто носится то?
Вакансий считай и нет по BigData


Это не вакансий нет, а специалистов. Приходится хантить по смежным технологиям и обучать на местах.
1 авг 17, 09:12    [20690157]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1855
haXbat
romskom
Кто носится то?
Вакансий считай и нет по BigData


Это не вакансий нет, а специалистов. Приходится хантить по смежным технологиям и обучать на местах.

Не :)
Это специалистов нет, т.к. вакансий мало. Не привлекает.
1 авг 17, 09:16    [20690167]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
SpellBuilder
Не :)
Это специалистов нет, т.к. вакансий мало. Не привлекает.


Amazon
Happy Saturday! Amazon is Interested in You!

Hi xxx,

Happy Saturday =)! I hope that you are doing well and you're enjoying your weekend! I came across your profile and thought you might be interested in a hiring event we are holding in Tallinn, Estonia from August 14th-17th, 2017.

This is an "Invitation Only" event and we’re currently seeking experienced Software Developers, for our development teams in Vancouver and Berlin!
...

бедняги уже совсем по деревням пошли искать
1 авг 17, 10:45    [20690522]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1855
Работа у них такая искать.

А наше дело в тренде быть. При наличии десятка вакансий и обычных зп (например вакансии МТС, совершенного ничего выдающегося), зачем погружаться в продукт или делать его для себя приоритетным. Так на любителя поковырять, а что потом, через 3 года, когда это станет для тебя рутиной, куда идти и расти?

Надо разделять маркетинг селеров и свое развитие на перспективу :)
1 авг 17, 15:43    [20692071]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
SpellBuilder
Работа у них такая искать.

А наше дело в тренде быть. При наличии десятка вакансий и обычных зп (например вакансии МТС, совершенного ничего выдающегося), зачем погружаться в продукт или делать его для себя приоритетным. Так на любителя поковырять, а что потом, через 3 года, когда это станет для тебя рутиной, куда идти и расти?

Надо разделять маркетинг селеров и свое развитие на перспективу :)

не бывает работы искать спецов под несуществующие вакансии, а в амазоне, гугле и прочая зп как раз необычные. на мск я бы не стал ориентироваться, там все всегда сильно запаздывает, даже на фоне прибалтики. хадупы будут откусывать долю с хорошей скоростью, а после благослевления от Путина, Кудрина и ко и в мск будут бешенными темпами. с санкциями у многих и вариантов то нет. что касается рутины то на хадупах полно интересных фреймворков. от streaming до machine learning. куда расти найдется.

вобщем не стоит слушать ерунду, хайп там не на пустом месте. свою долю технология откусит, пусть во многом она и кривожопая.
1 авг 17, 19:43    [20692807]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
kaldorey
Member

Откуда:
Сообщений: 557
romskom
Кто носится то?
Вакансий считай и нет по BigData

А сейчас бигдаты и вакансии выкладывают у себя в экосистеме и среди друзей, например ODS - там их куча, командами целыми набирают. Это здесь еще вакансии дублируются на hh.ru - а там смысл - тут же под боком и практики, и студенты, свеженькими забирают
3 авг 17, 15:43    [20698349]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2 3      [все]
Все форумы / OLAP и DWH Ответить