Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1606
80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота? Золота в шлаке нет и никогда не было.
КА оборвали телефон последнее время - нужен срочно, завтра сдавать заказчику, мега спец на мега проект в мегабанк на бигдаду. Устал объяснять как дедушка Инмон - бигдата никакого отношения к хранилищам данных не имело, не имеет и иметь не будет, это платформа для специфических задач.
Нафига эта бигдата? Скоринг в банке? Он и раньше без бигдаты работал. Столько спама с этой бигдатой сыпется, сума все посходили что ли.
18 июл 17, 16:39    [20654831]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alex_496
Member

Откуда: Moscow http://dvbi.ru
Сообщений: 3467
пишу и поглядываю как процессится куб.

Ну младо-эффективные начальники, которые не отягощены багажом инженерной высшей школы.
Им в банках и аффилированных ритейлах пресейлы и западные коучи напели песен про монетизацию больших данных. Тренд задан на самом верхнем уровне. Как же под это дело не подсуетиться. В начале 2000х аналогичный угар был по CRM
18 июл 17, 17:02    [20654926]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Полковник.
Нафига эта бигдата?

замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.
18 июл 17, 17:21    [20655019]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Владимир Штепа
Member

Откуда: Hannover
Сообщений: 6001
Yo.!,

Бесплатный сыр только вы мышеловке.
18 июл 17, 17:40    [20655100]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1606
Yo.!
Полковник.
Нафига эта бигдата?

замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.


Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.
18 июл 17, 17:40    [20655103]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Полковник.
Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.

у нас по сути заменили.
маркетинговый булшит это ассоциировать бигдату с неструктированными данными. неструктурированные данные лишь одна из опций, у нас вот ничего неструктурированного почти и нет. многие и не в курсе что там под низом SAS dataminer или под отчетиками уже не оракл.
18 июл 17, 17:45    [20655121]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4678
Блог
Yo.!
Полковник.
Нафига эта бигдата?

замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.
Вот об этом как раз и поют продавцы Big Data. :) Все не так просто.
18 июл 17, 18:46    [20655294]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4678
Блог
Yo.!
Полковник.
Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.

у нас по сути заменили.
маркетинговый булшит это ассоциировать бигдату с неструктированными данными. неструктурированные данные лишь одна из опций, у нас вот ничего неструктурированного почти и нет. многие и не в курсе что там под низом SAS dataminer или под отчетиками уже не оракл.
Мне кажется, что на фоне SAS dataminer стоимость Oracle копейки, а вот геморроя море добавилось...
18 июл 17, 18:48    [20655299]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
RioMare
Member

Откуда: EU
Сообщений: 269
Yo.!
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно
все дело в деньгах.

Я бы сказал, что те, кто предполагает оперировать в digital channels в связке DWH + аналитика просто вкладываются в аналитику, поскольку возможностей на порядок больше, поэтому всё то, что SAS/ETS или SAS/IML считает довольно шустро вещи, на которых Oracle просто дохнет. А платить за Ora только для того, чтобы данные хранить конечно можно, только big data тупо дешевле.
Nothing special, just business
18 июл 17, 19:03    [20655358]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alex_496
Member

Откуда: Moscow http://dvbi.ru
Сообщений: 3467
Я что-то не понимаю?
Разве Big Data не подразумевает хорошее знание мат. статистики?
На кой черт Datamining, если нет серьзных познаний и опыта в мат. статист. методах
18 июл 17, 20:04    [20655479]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Alexander Ryndin
Вот об этом как раз и поют продавцы Big Data. :) Все не так просто.

все не так просто. все эти RAC, dataguard, унылые сториджи с hdd жрут запредельные суммы, но на выходе дба падают в обморок, когда я попрошу +1ТБ на поиграться. нет смысла вкладываться в лицензии, которые всегда будут ограничивать хотелки бизнеса. уже понятно, что раздувание штата под бигдату разумней вложение. хадуп уже в состоянии заменить, но при этом инструменты прогрессируют с бешенной скоростью.
а продавцы, хрень какую-то продают: то какие-то оракл бигдата, со всеми минусами обоих миров в квадрате, то даталейк помойки, не пойми для чего накапливаемые. данные новая нефть (тм) и ржут

Alex_496
Я что-то не понимаю?
Разве Big Data не подразумевает хорошее знание мат. статистики?
На кой черт Datamining, если нет серьзных познаний и опыта в мат. статист. методах

нет, бигдата ничего не поразумевает. хадуп просто набор фреймворков, терминами оракла продуктов. как и у оракла там тьма продуктов в линейках. просто у оракла каждый продукт это миллион $$$ со скидкой от вендора, а тут божеские цены и большой напильник в подарок. среди них есть и spark с его либами машин лёрнинга, есть коннекторы к sas dataminer и куча другого хлама, который никто не обязывает использовать.
и на счет статистики, а на кой аналитику познания в мат статистике ? аналитик не разрабатывает прогрессивные методы анализа, его удел очистить данные и потыркать next в визарде sas dataminer. натыркать linear regression модель знаний статистики, что дает бакалавр за глаза. глубоко разбираться в статистике и алгаритмах уже задача дата сайнтиста.
18 июл 17, 21:12    [20655593]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alex_496
Member

Откуда: Moscow http://dvbi.ru
Сообщений: 3467
ради чего весь сыр бор?
что за монетизация данных?
что в итоге реклама и предложения будут еще более назойливыми и влазить в приватную жизнь людей?
и не оставлять им права выбора, а клевать будут прямо в мозг? качество товаров падает, зато будут таргетировать покупателей. только подумал, не успел одуматься - а тебе уже впарили кредит, услугу или одноразовый товар
18 июл 17, 21:40    [20655647]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31048
Блог
по чем сейчас 1Тб бигдаты для enterprise?
чисто если по месту, без всего остального
18 июл 17, 21:43    [20655650]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
bbx1389
Member

Откуда: Русија
Сообщений: 23931
ибо попил будет страшный
Силуанов: big data позволит кратно уменьшить теневой сектор


Автоматизация электронных счетов-фактур по НДС, данных Таможенной службы, данных о розничных продажах позволит очень сильно сократить теневой сектор российской экономики. Об этом заявил министр финансов РФ Антон Силуанов на парламентских слушаниях по теме «Основные направления бюджетной, налоговой и таможенно-тарифной политики на 2018 год и плановый период 2019 и 2020 годов».

«Автоматизация такого большого массива данных, как говорят сейчас, big data позволит кратно сократить теневой сектор, где не платятся сегодня налоги. Это наша одна из ключевых задач», — рассказал он в Государственной думе.


«(Наша) задача — цифровизация интеграции всех потоков данных в единое информационное пространство налогового администрирования. Это и электронные счета-фактуры НДС, данные Таможенной службы, данные о розничных продажах, которые мы будем собирать от контрольно-кассовой техники в единую базу и в единое облако и которые будут анализироваться Налоговой службой», — пояснил министр.


при заходе на уровень министра , технологический вопрос уходит на второй, а то и третий план
20 июл 17, 09:47    [20659980]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1846
bbx1389
ибо попил будет страшный
Силуанов: big data позволит кратно уменьшить теневой сектор
«Автоматизация такого большого массива данных, как говорят сейчас, big data

при заходе на уровень министра , технологический вопрос уходит на второй, а то и третий план


Ну да понты с дословным переводом.
Для кого то и файл Excel с миллионом строк, это такая биг дата и наш отдел самый геройский работает сутками на благо компании.
21 июл 17, 09:58    [20663741]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4638
Полковник.
бигдата никакого отношения к хранилищам данных не имело, не имеет и иметь не будет, это платформа для специфических задач.
исключительно имхо...
если под "бигдатой" понимать классическое определение "наличие 3V", то этой самой бигдатой может стать (ну несколько утрировано) любой набор данных.
при этом основная задача хранилища данных хранить эти данные (как бы банально это не звучало) и отдавать по запросам.
как именно вы будете их хранить зависит только от вас, да хоть на ДНК записывайте...
основная идея заложенная в эту "бигдату" это масштабирование.
если вам оно не нужно ну и не нужно, если вы можете решить проблему масштабирования в рамках другой платформы, то почему бы и нет - это всего лишь инструменты.
21 июл 17, 21:56    [20665900]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Кэптен
Member

Откуда: Kiev
Сообщений: 207
Критик
по чем сейчас 1Тб бигдаты для enterprise?
чисто если по месту, без всего остального

По разному, обычно 1к долл. В Экзадате тоже будет стоить 50к.
Yo очень точно всё сказал, если предприятие соблюдает лицензионную чистоту, то платит дурные деньги за реляционки.
Поэтому делают расширение DWH. Например в телекомах все данные хранят в Хадупе (шара по деньгам), там же делают пре-ETL (очистка, трансформация, расчет агрегатов), а результаты уже в реляционку. Тоже касается банков.
Хотя есть реальные примеры и монетизации и пользы, я как-то 12 штук рассказывал одному клиенту. Например, идёт должник банка мимо отделения банка, ему сообщение: "вы проходите мимо нашего отделения, зайдите и погасите кредит". Давит на психику должника. Средства спама и антиспама. Работа с веб-данными (а это огромные объемы).
22 июл 17, 20:28    [20667031]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 4582
Кэптен
Например, идёт должник банка мимо отделения банка, ему сообщение: "вы проходите мимо нашего отделения, зайдите и погасите кредит". Давит на психику должника. Средства спама и антиспама. Работа с веб-данными (а это огромные объемы).

Очень плохой пример, это уже отслеживание местоположения человека, можно и иск отгрести.
А в целом для работника выгодно чтобы система(софт, железо, работы) на которой он работает стоила как можно дороже. Если компания экономит на системе, значит скоро начнет экономить и на работнике. Перефразируя известного застройщика-сидельца "Компании у которых нет денег на exadata(нужное вписать) могут идти в ..."
26 июл 17, 13:44    [20676416]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
982183
Member

Откуда:
Сообщений: 930
Полковник.
80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота?

Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.
26 июл 17, 14:05    [20676518]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1606
982183
Полковник.
80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота?

Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.

О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.
26 июл 17, 14:53    [20676701]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
982183
Member

Откуда:
Сообщений: 930
Полковник.
О каком массиве данных идёт речь?

Любом.
26 июл 17, 15:10    [20676778]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Yo.!
Guest
Полковник.
О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.

нахрена такой канторе вообще DWH, если даже остатки не в состоянии загрузить ? и смысл в них спустя 2 года ? подозреваю "предприятие" как эти два года жило без DWH и следующие проживет без этого DWH.
26 июл 17, 15:30    [20676853]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Alex_496
Member

Откуда: Moscow http://dvbi.ru
Сообщений: 3467
Полковник.
982183
пропущено...

Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.

О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.


:)
ну у нас тоже то 200+ млн. руб. недостачи несколько месяцев жили и не замечали, то 7 млрд. руб. в прошедшие периоды пропали.
Но корпоративная этика превыше всего как ангулярность агилистического скрама
26 июл 17, 18:37    [20677640]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Полковник.
Member

Откуда:
Сообщений: 1606
982183
Полковник.
О каком массиве данных идёт речь?

Любом.

Отличный ответ.
26 июл 17, 19:20    [20677739]     Ответить | Цитировать Сообщить модератору
 Re: Что так все носятся с этой bigdata-ой?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4638
Полковник.
Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.
дак, а причём здесь бигдата то?
если вам привезли гвозди, а у вас отвёртка, то отвёртка не плоха, отнюдь.
опять же, ваша мысль понятна, но вот вы рассуждаете прямолинейно, как разработчик (ну, так это выглядит, могу ошибаться), а с позиции архитектора и топ-менеджера (ну, так, сферического) бигдату вы поднимете не сразу, а за это время и данные из первичек почистят и глядишь НСИ и МДМ как нибудь подтянут...
короче не складывать все яйца к вам в карман.
26 июл 17, 21:22    [20677955]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить