Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2 3      [все]
 Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1000
Так, пятница, можно и отвлечься.

Дата Валют был, BigData хоть еще держится, но Gartner говорит что на спад пошла, DataLake - ну, это вечное.

Братцы, смотрите что нашел - новый термин "Тёмные данные":
TAdviser
В 2017 году Deloitte внесла "тёмную аналитику" в число перспективных технологий в своем восьмом ежегодном отчете «Технологические тренды 2017: Подвижное предприятие». По некоторым оценкам, на начало 2017 года около 80% данных на предприятии подпадают под категорию «темных»...К «темным» можно отнести и реляционные данные, извлекаемые из баз данных SQL — они поддаются тщательному анализу, но их не всегда можно использовать в качестве подспорья в операционной деятельности компании. Ещё меньше пользы от информации, которая скрывается в сообщениях электронной почты, корпоративных договорах, материалах презентаций и других «сырых» текстовых документах. Фото-, аудио- и видеофайлы — другой массив данных, который может служить ценным источником информации, и, следовательно, идей для бизнеса компании.
На начало 2017 года нельзя сказать, что добыча ценного материала из «темных» данных поставлена на поток. Такой деятельностью занимаются высококвалифицированные специалисты в области нейронных сетей и других технологий, которые позволяют анализировать выражения лиц, мимику и реакцию пользователей на те или иные объекты по видео и фото. Эффективный анализ изображения мог бы вооружить ритейлеров мощным средством прогнозирования новых трендов в моде и, соответственно, своевременно обновлять линейки одежды.
Так что быстро заставляйте сейлов с умным видом и его произносить. Что б впереди планеты всей.

Так. Темные данные есть, значит, должны и печеньки быть...

С Уважением,
Георгий
1 дек 17, 17:39    [20999207]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex.C
Member

Откуда:
Сообщений: 12
А что, "Тёмный аналитик" в трудовой вполне звучит :)
1 дек 17, 18:40    [20999347]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Barclay
Member

Откуда:
Сообщений: 64
Alex.C,

на подходе "Мутный разработчик" хранилища темных данных.
1 дек 17, 18:53    [20999371]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
George Nordic
Так, пятница, можно и отвлечься.

Дата Валют был, BigData хоть еще держится, но Gartner говорит что на спад пошла, DataLake - ну, это вечное.

Братцы, смотрите что нашел - новый термин "Тёмные данные":
TAdviser
В 2017 году Deloitte внесла "тёмную аналитику" в число перспективных технологий в своем восьмом ежегодном отчете «Технологические тренды 2017: Подвижное предприятие». По некоторым оценкам, на начало 2017 года около 80% данных на предприятии подпадают под категорию «темных»...К «темным» можно отнести и реляционные данные, извлекаемые из баз данных SQL — они поддаются тщательному анализу, но их не всегда можно использовать в качестве подспорья в операционной деятельности компании. Ещё меньше пользы от информации, которая скрывается в сообщениях электронной почты, корпоративных договорах, материалах презентаций и других «сырых» текстовых документах. Фото-, аудио- и видеофайлы — другой массив данных, который может служить ценным источником информации, и, следовательно, идей для бизнеса компании.
На начало 2017 года нельзя сказать, что добыча ценного материала из «темных» данных поставлена на поток. Такой деятельностью занимаются высококвалифицированные специалисты в области нейронных сетей и других технологий, которые позволяют анализировать выражения лиц, мимику и реакцию пользователей на те или иные объекты по видео и фото. Эффективный анализ изображения мог бы вооружить ритейлеров мощным средством прогнозирования новых трендов в моде и, соответственно, своевременно обновлять линейки одежды.
Так что быстро заставляйте сейлов с умным видом и его произносить. Что б впереди планеты всей.

Так. Темные данные есть, значит, должны и печеньки быть...

С Уважением,
Георгий



...отлично, наш ждет век ПРОСВЕТЛЕНИЯ!
би-девелоперы -- илюминаторы!

...можно ли найти темные данные в глубоком дата-болоте?

...50 оттенков темных данных...

...темнота -- друг молодежи!


ьььььььь сказка ьььььььььььььь

...в одном темном-претемном лесу деревьев-решений
жили темные-претемные данные...но однажды САС
добрый молодец решил бросить вызов темным данным
, взял ЛАССО, седло и пошел через локальные минимумы и
глобалэные максимумы регрессией на данные.
Данные долго сопротивлялись, подставляли коллениарные аттрибуты,
отвлекали неструктурными полями, силно шумели и не хотели валидироватся...
Но САС добрый молодец в последний момент разделил данные на кластеры,
нашел основные PCA вектора, расчленил их на 30/70 и обмотал
нейронной сетью.
Дорого (в денежном выражении) досталась САСу добру-молодцу победа.
С ликованием выташил САС темные данные на свет...

...а оказалось что они никому не нужны...
1 дек 17, 21:17    [20999619]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
bideveloper
Member

Откуда:
Сообщений: 186
George Nordic
Такой деятельностью занимаются высококвалифицированные специалисты в области нейронных сетей и других технологий, которые позволяют анализировать выражения лиц, мимику и реакцию пользователей на те или иные объекты по видео и фото. Эффективный анализ изображения мог бы вооружить ритейлеров мощным средством прогнозирования новых трендов в моде и, соответственно, своевременно обновлять линейки одежды


Т. е. допустим подходит клиент к куртке в торговом зале. И если по выражению лица его тошнит. То больше эту модель куртки не закупаем ))
2 дек 17, 05:41    [21000121]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1000
В одном темном-темном хранилище были темные-темные данный. Но однажды рука темного-темного аналитика натравила на них блокчейн, мэшин лёарнинг и нейронную сеть для получения светлых данных. Однако нейросеть быстро обучилась и зашифровала все данные, а потом начала шантажировать, требуя новый быстрый сервер для своих темных-темных дел. Путем долгих переговоров ей была предоставлена новая машину, на которую она перебралась, освободив старое хранилище. Для безопасности новое хранилище было отключено от корпоративной сети. Так и живет в недрах темной-темной компании сервер с темной-темной душой...
4 дек 17, 12:26    [21003898]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
George Nordic
В одном темном-темном хранилище были темные-темные данный. Но однажды рука темного-темного аналитика натравила на них блокчейн, мэшин лёарнинг и нейронную сеть для получения светлых данных. Однако нейросеть быстро обучилась и зашифровала все данные, а потом начала шантажировать, требуя новый быстрый сервер для своих темных-темных дел. Путем долгих переговоров ей была предоставлена новая машину, на которую она перебралась, освободив старое хранилище. Для безопасности новое хранилище было отключено от корпоративной сети. Так и живет в недрах темной-темной компании сервер с темной-темной душой...

А потом темный-темный властелин взял темный-темный сертификат с истекающим сроком годности и подсунул темному-темному серверу, а другие удалил. И перешифровала темные данные нейросеть с новым сертификатом. И закончился срок годности. И не нашла нейросеть в локальной сети темный-темный ЦС, и расшифровала она темные данные совсем. А темному-темному властелину то и было нужно - выключил он сервер, а диски с данными переткнул на другой, темный-темный сервер без нейросети.
Тут и стали темные данные жить-поживать да агрегированные данные выдавать. Я в той серверной был, пиво-водку не пил, потому как режимное предприятие...
4 дек 17, 13:22    [21004159]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1000
javajdbc
...а оказалось что они никому не нужны...


Дорогие модераторы, пожалуйста, не переносите ветку в ПТ. Там она погибнет, а здесь предлагаю обсудить задачи, которые теоретически могут быть решены. Это ж первая ласточка, все равно через год или два это все всплывет. Так что переведем ветку в конструктивное русло. И тут есть 2 аспекта, так как непонятно, что именно Deloitte подразумевает под "темными данными". Есть 2 аспекта:
* Это техническая информация, которая генерируется автоматически: теги, геокоординаты, время добавления / изменения, логи, ошибки дисков и тому подобное.

ну, тут задачи скорее на соблюдение неких правил (например, привязка геокоординат или почему в данном случае пришла информация с другими координатами - кстати, я такую задачу решал), или предиктивная аналитика по отказоустойчивости, нагрузке и т.п.

* Это непосредственно данные, которые лежат в хранилище (или нескольких источниках?). Так вот тут задача больше абстрактная, так как мы не понимаем, что за это конкретно за данные и какие вообще задачи можно решить. Но идея проста - "у вас все больше данных (а это так), поэтому научитесь извлекать из них ценность (спасибо, а какую ценность можно извлечь?)"

Так вот, давайте и поговорим, а какую ценность можно извлечь :)

А то будет как javajdbc говоритсказывает :)

С Уважением,
Георгий.
4 дек 17, 15:32    [21004664]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
bideveloper
George Nordic
Такой деятельностью занимаются высококвалифицированные специалисты в области нейронных сетей и других технологий, которые позволяют анализировать выражения лиц, мимику и реакцию пользователей на те или иные объекты по видео и фото. Эффективный анализ изображения мог бы вооружить ритейлеров мощным средством прогнозирования новых трендов в моде и, соответственно, своевременно обновлять линейки одежды


Т. е. допустим подходит клиент к куртке в торговом зале. И если по выражению лица его тошнит. То больше эту модель куртки не закупаем ))

А теперь мы таки совсем немножко подумаем о различии эмоционального поведения в США (где разрабатывается ПО) и в РФ (где эти системы будут внедрены).
Там на любой товар дежурная улыбка и удивление при виде нехорошего товара, тут удивление на дорогие ценники хорошего товара и улыбка при виде неадекватного товара, который непонятно кто вообще купит.

То есть темные данные - это когда модель обработки не соответствует реалиям той страны, где эта модель обработки планируется к применению на собранные данные, а других моделей для этих данных пока нет.
4 дек 17, 15:40    [21004715]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
George Nordic
а какую ценность можно извлечь :)

Как обычно - премии для программистов, внедряющих сбор и обработку темных данных, бонусы для менеджеров проектов.
И красивые презентации PowerPoint для отчетов "наверх".
Все равно никто их смотреть не будет - ни светлые, ни темные. Смотреть будут на прибыль и повышение продаж.

Поддерживаю просьбу к модераторам эту ветку не переносить. Вопрос скорее философский, чем юмористический.
4 дек 17, 15:42    [21004726]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3536
По большому счету отчетность и дашборды никому не нужны, особенно качество данных.
На отчеты смотрят, если это касается зарплаты-мотивации, ну и обязательная отчетность для налоговой, регулятора.
А так, действительно, главное - ПРОДАЖИ
4 дек 17, 17:20    [21005082]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2991
А так, действительно, главное - ПРОДАЖИ

Если использовать Кактус-BI - то это так ;)
Но еще лучше себя не ограничивать. Более интересно не только смотреть план-факт по продажам, а получать информацию, что нужно сделать, чтобы получить оптимальную прибыль, или как увеличить продажи. Поэтому нужен и Data Mining, и оптимизационные модели, и планирование/бюджетирование, полный дефолтный комплект ;)
4 дек 17, 20:56    [21005544]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
LSV
Member

Откуда: Киев
Сообщений: 30226
Так что быстро заставляйте сейлов с умным видом и его произносить. Что б впереди планеты всей.
ИТ катится в какое-то говно. :)
Один сплошной хайп. Придумывают умные слова и технологии без к-л полезного содержания.
Кризис жанра, прям как в кино. Людям просто нечем заняццо.
5 дек 17, 11:50    [21006715]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2991
ИТ катится в какое-то г***о. :)
Один сплошной хайп. Придумывают умные слова и технологии без к-л полезного содержания.
Кризис жанра, прям как в кино. Людям просто нечем заняццо.


Есть и полезные темы - например, обучение Исинов, чтобы заменять ими аналитиков и ИТ-специалистов.
5 дек 17, 12:46    [21006901]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
George Nordic,

Еще раз перечитал фразу "К «темным» можно отнести и реляционные данные, извлекаемые из баз данных SQL — они поддаются тщательному анализу, но их не всегда можно использовать в качестве подспорья в операционной деятельности компании". И понял, что именно можно отнести к "темным" данным.

Есть некая фирма. В далеком 201x году торговала товарами A и B, вела учет в базе 1С. В 2017-м поменяла профиль, переключилась на товары C. База распухла, ее вынесли в архивную копию, а "боевую" порезали и справочник номенклатуры и контрагентов (как поставщиков) проредили от ненужного хлама.

И вот есть из базы архивной история продаж, маржи, остатков, оборачиваемости и всего прочего по товарам A и B. И видим мы в тщательном анализе, что продажник Иванов хорошо торговал товаром B, а продажник Петров на нем делал основную прибыль фирмы. И даже можем сделать выводы. Ретроспективные выводы. Потому что сейчас Сидоров сидит и продает товар C. А про Иванова и Петрова ему гендир байки рассказывает "как было трудно в 201x, но мы выстояли и не разорились".

То есть данные есть. Анализ есть. Тщательный. А подспорье в операционной деятельности компании - нулевое. Вот и вопрос, а нужны такие "темные" или нет. Разве что по анализу поставщиков, чтобы тех, кто косячил с товарами A и B регулярно, стараться не привлекать к поставкам товара C. Но и тут - у них руководство поменялось, менеджеры поменялись, поставки теперь регулярные и по минимальным на рынке ценам. Так что историю отношений можно перечеркнуть и начать "с нуля".
6 дек 17, 02:04    [21009462]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1000
Andy_OLAP, я еще дополню. Например, прогнозирование. Ну, извлекли мы данные за 2007, 2008, 2009, построили прогноз.... Просто красота. :) Или вот еще - один очень крупный и умный ритейлер хочет вести прогнозирование по всем SKU за 3 года. Отличная задача, но движение по SKU 20%-30% Y2Y. И что ты напрогнозируешь по SKU? Когда занимался datamining, это самая большая проблема была - не предложишь ты нормально прогнозирование, не приведя в порядок категорийный менеджмент. Хотя DM может помочь выявить SKU со схожими потребительскими свойствами, но это лишь помочь в наведении порядка. И только потом можно прогноз строить в разрезе категорий со схожими потребительскими свойствами. Увы, не сделает все за тебя черный ящик, темные там данные или светлее некуда.

С Уважением,
Георгий
6 дек 17, 12:04    [21010354]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3536
George Nordic,

+1
6 дек 17, 16:35    [21011773]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2991
2 George Nordic:

Или вот еще - один очень крупный и умный ритейлер хочет вести прогнозирование по всем SKU за 3 года. Отличная задача, но движение по SKU 20%-30% Y2Y. И что ты напрогнозируешь по SKU

Если ритейлер умный - то у него все получится, особенно если он возьмет дефолтный инструмент ;) Взять исходные данные за 3 года по SKU и по дням - вполне логично. Прогноз будет делаться не на 3 года, это тоже понятно, обычно прогнозируют недель на 10 вперед. Для новых SKU можно делать настройку, чтобы их прогноз строился на основе другого старого SKU или группы номенклатуры. Детализация прогноза нужна, поскольку заказы надо делать по каждому SKU. В целом любого Исина, чтобы он заработал и заменил труд сотрудников, сначала нужно обучить, настроить. У крупных ритейлеров обычно много магазинов и большой ассортимент SKU, прогнозировать вручную - очень трудоемко. Успешные проекты по прогнозированию в разрезе SKU имеют место в России...
6 дек 17, 18:29    [21012398]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
xenix
Guest
Вечер фантазий в разгаре.
Итак, правильный BI должен быть таким:
1. Желательно облачным - иначе надо платить зарплату этим непонятным ИТ-специалистам, которые, вот с..ки такие, чего-то там должны настроить прежде, чем вождь получит прогноз реализации красных трусселей в апреле в штате Мичиган. Если не облачным, то таким, чтобы его могла поставить уборщица с двумя классами заочного образования, причем на любой компьютер - от Б/У-шного хлама до AIX-машины с двумя терабайтами памяти на борту
2. После установки непонятного плагина, которую выполняет загадочный типус "бизнес-аналитик", вышеупомянутый плагин сканирует сеть и определяет, что на сервере 192.168.1.18 стоит 1С, на сервере 192.168.1.29 стоит что-то вроде SAP и т.д. Естественно, плагин на лету понимает, что таблица dbo.Acc7809 - это обороты по счетам, поле Fld18 - кредитовый счет операции, Fld72 - дебетовый счет и т.д.
3. Прочесывает файловые помойки, где разное менеджерье хранит свои Богом и людьми проклятые Эксели
4. Сводит все данные из пунктов 2 и 3 воедино
5. формирует красивую и понятную любому балбесу отчетность
6. автоматом строит прогнозы закупки трусселей на пять лет вперед с достоверностью 99.999%
7. если, не приведи Бог, планы барыжничества трусселями не выполняются и покупка вождю нового джипа откладывается на пару дней, - формирует список для наказания невиновных и награждения непричастных
6 дек 17, 22:19    [21012914]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
George Nordic
javajdbc
...а оказалось что они никому не нужны...


Дорогие модераторы, пожалуйста, не переносите ветку в ПТ. Там она погибнет, а здесь предлагаю обсудить задачи, которые теоретически могут быть решены. Это ж первая ласточка, все равно через год или два это все всплывет. Так что переведем ветку в конструктивное русло. И тут есть 2 аспекта, так как непонятно, что именно Deloitte подразумевает под "темными данными". Есть 2 аспекта:
* Это техническая информация, которая генерируется автоматически: теги, геокоординаты, время добавления / изменения, логи, ошибки дисков и тому подобное.

ну, тут задачи скорее на соблюдение неких правил (например, привязка геокоординат или почему в данном случае пришла информация с другими координатами - кстати, я такую задачу решал), или предиктивная аналитика по отказоустойчивости, нагрузке и т.п.

* Это непосредственно данные, которые лежат в хранилище (или нескольких источниках?). Так вот тут задача больше абстрактная, так как мы не понимаем, что за это конкретно за данные и какие вообще задачи можно решить. Но идея проста - "у вас все больше данных (а это так), поэтому научитесь извлекать из них ценность (спасибо, а какую ценность можно извлечь?)"

Так вот, давайте и поговорим, а какую ценность можно извлечь :)

А то будет как javajdbc говоритсказывает :)

С Уважением,
Георгий.



>> Так вот, давайте и поговорим, а какую ценность можно извлечь :)


...была статейка на тему что из чего можно извлечь...
https://kieranhealy.org/blog/archives/2013/06/09/using-metadata-to-find-paul-revere/

вкратце:
Взяли список посещений клубов Бостона
перед тамошней революции против англичан...
..."темные данные" -- только фамилии и факт посешения (или членства?) в десятке клубов.
В результате достаточно легко определили всех "главарей"

С другой стороны таких книг посещений тысячи/милионы
а фактов посещений -- милиарды... и что, все время искать революцию?

...собствено ангенства безопасности так и делают, но
простым капиталистам нужна только завтряшняя прибыль
(маркетинг, оптимизация, риски, тенденции...)

т.е. в некрупных конторах темные данные даже если и завалялись,
то никому не упали. В крупных конторах есть шанс раскопать что-то
... знакомуй работает в банке, который купил другой банк и
копает купленые 30 лет кредитных историй на предмет улучшения модели рисков...

...мое мнение, что темные данные НЕ нужны хозяивам
(были бы нужны -- из бы давно копали)...
но эти данные могут быть интересны кому-то другому
(как Английской короне могли быть интересны книги посещения
бостонских клубов, (бы если б дата анализ бы сушествовал в те времена...бы))...
7 дек 17, 03:23    [21013345]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
xenix
Вечер фантазий в разгаре.
Итак, правильный BI должен быть таким:
1. Желательно облачным - иначе надо платить зарплату этим непонятным ИТ-специалистам, которые, вот с..ки такие, чего-то там должны настроить прежде, чем вождь получит прогноз реализации красных трусселей в апреле в штате Мичиган. Если не облачным, то таким, чтобы его могла поставить уборщица с двумя классами заочного образования, причем на любой компьютер - от Б/У-шного хлама до AIX-машины с двумя терабайтами памяти на борту
2. После установки непонятного плагина, которую выполняет загадочный типус "бизнес-аналитик", вышеупомянутый плагин сканирует сеть и определяет, что на сервере 192.168.1.18 стоит 1С, на сервере 192.168.1.29 стоит что-то вроде SAP и т.д. Естественно, плагин на лету понимает, что таблица dbo.Acc7809 - это обороты по счетам, поле Fld18 - кредитовый счет операции, Fld72 - дебетовый счет и т.д.
3. Прочесывает файловые помойки, где разное менеджерье хранит свои Богом и людьми проклятые Эксели
4. Сводит все данные из пунктов 2 и 3 воедино
5. формирует красивую и понятную любому балбесу отчетность
6. автоматом строит прогнозы закупки трусселей на пять лет вперед с достоверностью 99.999%
7. если, не приведи Бог, планы барыжничества трусселями не выполняются и покупка вождю нового джипа откладывается на пару дней, - формирует список для наказания невиновных и награждения непричастных



...красиво то как... заверните пожалуйста.... нет, две заверните...!!!!!
7 дек 17, 05:27    [21013365]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3536
javajdbc
xenix
Вечер фантазий в разгаре.
Итак, правильный BI должен быть таким:
1. Желательно облачным - иначе надо платить зарплату этим непонятным ИТ-специалистам, которые, вот с..ки такие, чего-то там должны настроить прежде, чем вождь получит прогноз реализации красных трусселей в апреле в штате Мичиган. Если не облачным, то таким, чтобы его могла поставить уборщица с двумя классами заочного образования, причем на любой компьютер - от Б/У-шного хлама до AIX-машины с двумя терабайтами памяти на борту
2. После установки непонятного плагина, которую выполняет загадочный типус "бизнес-аналитик", вышеупомянутый плагин сканирует сеть и определяет, что на сервере 192.168.1.18 стоит 1С, на сервере 192.168.1.29 стоит что-то вроде SAP и т.д. Естественно, плагин на лету понимает, что таблица dbo.Acc7809 - это обороты по счетам, поле Fld18 - кредитовый счет операции, Fld72 - дебетовый счет и т.д.
3. Прочесывает файловые помойки, где разное менеджерье хранит свои Богом и людьми проклятые Эксели
4. Сводит все данные из пунктов 2 и 3 воедино
5. формирует красивую и понятную любому балбесу отчетность
6. автоматом строит прогнозы закупки трусселей на пять лет вперед с достоверностью 99.999%
7. если, не приведи Бог, планы барыжничества трусселями не выполняются и покупка вождю нового джипа откладывается на пару дней, - формирует список для наказания невиновных и награждения непричастных



...красиво то как... заверните пожалуйста.... нет, две заверните...!!!!!


это жеж Cognos BI
7 дек 17, 06:10    [21013386]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
Alex_496
это жеж Cognos BI

В доме, который построил Джек На сервере, который развернул и настроил САМ Юрий.

А если по делу - это не сюжет фантастического фильма, это типовой сценарий работы с данными лет через 15 (оптимизм) или 20 (пессимизм). Мы все в целом, IT-шники, своими руками копаем себе большую могилу. Безработица и замена на ИИ (Имитация Интеллекта) нас ждет неизбежно. Как ткачей в Индии при развитии в Англии фабрик...
7 дек 17, 09:41    [21013643]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2991
2 javajdbc:

Вечер фантазий в разгаре.
Итак, правильный BI должен быть таким:
1. Желательно облачным - иначе надо платить зарплату этим непонятным ИТ-специалистам, которые, вот с..ки такие, чего-то там должны настроить прежде, чем вождь получит прогноз реализации красных трусселей в апреле в штате Мичиган. Если не облачным, то таким, чтобы его могла поставить уборщица с двумя классами заочного образования, причем на любой компьютер - от Б/У-шного хлама до AIX-машины с двумя терабайтами памяти на борту
2. После установки непонятного плагина, которую выполняет загадочный типус "бизнес-аналитик", вышеупомянутый плагин сканирует сеть и определяет, что на сервере 192.168.1.18 стоит 1С, на сервере 192.168.1.29 стоит что-то вроде SAP и т.д. Естественно, плагин на лету понимает, что таблица dbo.Acc7809 - это обороты по счетам, поле Fld18 - кредитовый счет операции, Fld72 - дебетовый счет и т.д.
3. Прочесывает файловые помойки, где разное менеджерье хранит свои Богом и людьми проклятые Эксели
4. Сводит все данные из пунктов 2 и 3 воедино
5. формирует красивую и понятную любому балбесу отчетность
6. автоматом строит прогнозы закупки трусселей на пять лет вперед с достоверностью 99.999%
7. если, не приведи Бог, планы барыжничества трусселями не выполняются и покупка вождю нового джипа откладывается на пару дней, - формирует список для наказания невиновных и награждения непричастных

...красиво то как... заверните пожалуйста.... нет, две заверните...!!!!!


Мне хорошо знакомо подобное решение, только к нему пока для комплектности требуется паяльник, чтобы брут форсом не подбирать логины/пароли и параметры соединения с базами данных и файлами Excel ;)

Если Вы не под санкциями, и можете использовать российское ПО, то рекомендую отправить заявку на бета-тестирование ( http://ai4you.gr8.com ). Нужно будет на одном или нескольких серверах выложить одну или несколько баз данных учетных систем, желательно содержащих кастомизацию (некие документы/справочники, которые не являются типовыми для известных конфигураций учетных систем). Дополнительно можно выложить файлы Excel с неструктурированными и полуструктурированными данными. После этого, искусственный интеллект создаст ХД, аналитические витрины данных, проведет прогнозирование продаж, сформируются OLAP-кубы, отчеты/дашборды, и т.п.

2 Alex_496:

это жеж Cognos BI

Строго говоря, это Cognos BI ME (Magic Edition) ;)
7 дек 17, 10:00    [21013723]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1000
Блин, да что ж такое.
Jurii
;) Взять исходные данные за 3 года по SKU и по дням - вполне логично.
Прекрасно, возьмите данные за 2007, 2008 и 2009 год и постройте прогноз. Посмеемся.
Jurii
Успешные проекты по прогнозированию в разрезе SKU имеют место в России...
Согласен. У кого очень немного SKU или они сильно разные, со слабой корреляцией между собой в плане каннибализации - FMCG производители, например.
Jurii
Прогноз будет делаться не на 3 года, это тоже понятно, обычно прогнозируют недель на 10 вперед. Для новых SKU
можно делать настройку, чтобы их прогноз строился на основе другого старого SKU или группы номенклатуры.У крупных ритейлеров обычно много магазинов и большой ассортимент SKU, прогнозировать вручную - очень трудоемко.
Да?? "А ребята-то не знают" :)
Jurii
Детализация прогноза нужна, поскольку заказы надо делать по каждому SKU

Юр, это не так делается немного. Давай расскажу.

Дело в том, что нельзя вести прогнозирование на уровне SKU. Для вас 1 кг сахарного песка от ООО "Манечка" и ООО "Танечка" - это одно и то же. А для системы - два абсолютно разных товара, с разными сроками и квантами поставки и себестоимостью. Следовательно, товары необходимо объединить в группы со схожими потребительскими свойствами: "Сахар", фасовка "1кг", "Песок", "средний ценовой диапазон".
При этом:
* Потребление рафинированного сахара летом будет снижаться (его берут для офисов, летом снижает деловая активность - снижается потребление рафинада)
* В июле-сентябре вырастает потребление сахарного песка, причем популярностью пользуется фасовка в 2-5-10 кг. (народ варит варенье / компоты)
* Вместо упаковки 2 кг народ готов взять 2х1кг, если разница несущественна
* Вместо рафинада, возможно, потребитель готов купить сахарный песок. Но не готов вместо песка купить рафинад. Особенно в сезон.
* Не везде потребитель готов переплачивать или покупать дорогой сахарный песок, например, тростниковый. Однако, если его включить в матрицу в правильных магазинах, он займет категорию AY, а то и AX. Хотя обычно - это больше BY (конкуренция не дает ему стать A, хотя спрос на него стабилен). Хотя при этом он будет отъедать долю у рафинада (каннибализация), но маржа покроет это с лихвой.

Кроме сезонности, каннибализации и совместно потребляемых товаров (желатин в сезон, например, или крышки для консервирования), важно учесть погоду (теплее лето - лучше урожай - больше потребление), курс на нефть / доллар / экономическую ситуацию в стране (чем хуже ситуация, тем больше людей занимаются приусадебным хозяйством, тем выше потребление сахарного песка в сезон), ситуацию на рынке (требования / сертификация / урожай / кол-во производителей), и другие факторы. Например, рост цен на водку ведет к увеличению самогоноварения и росту спроса на сахар.

И это-только сахар песок. Для других категорий, кроме сезонности, надо еще учитывать календарь - постоянные (Новый год, Рождество, 14 и 23 февраля, 8 марта) и плавающие праздники (пост, ураза байрам, курбан байрам, последняя пятница июля и т.п.), а также прочие день строителя и день нефтяника.

Поэтому нельзя получить хорошую прогнозную модель, не приведя в порядок категорийный менеджмент. Только имея группировку SKU со схожими потребительскими свойствами. А потом уже, внутри группы, КМ (категорийный менеджер может играться матрицей, добавляя / удаляя товары на уровне SKU и работая с поставщиками).

Ну и постоянная обратная связь и подстройка, разумеется. Динамическое изменение буфера, маркетинговые акции и из отслеживание...
Jurii
Если ритейлер умный - то у него все получится, особенно если он возьмет дефолтный инструмент
Почему-то я не видел еще ни одного крупного ритейлера, который бы выбрал "default BI". С кем работаю - Х5, Магнит, Леруа, Лента, Детский Мир и прочие - почему-то выбирают именно Qlik. И, кстати, ведут ОЧЕНЬ большие проекты - коллеги с этого форума могут подтвердить. И MS BI - тоже очень-очень много. Дикси, Магнолия, и множество ритейлеров поменьше. Появляются проекты на SAP Hana - в том же Х5, например. А вот нахваливаемый вами - ни разу для анализа данных не видел. Хотя для задач бюджетирования - очень даже хорош.

С Уважением,
Георгий.
8 дек 17, 12:17    [21017712]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2991
2 George Nordic:

;) Взять исходные данные за 3 года по SKU и по дням - вполне логично.
Прекрасно, возьмите данные за 2007, 2008 и 2009 год и постройте прогноз. Посмеемся.


Зачем мне старые данные? Я возьму данные за последние 3 года. Перечитайте внимательно Ваш пост, Вы не говорили что ритейлер хочет взять более старые данные.

Успешные проекты по прогнозированию в разрезе SKU имеют место в России...
Согласен. У кого очень немного SKU или они сильно разные, со слабой корреляцией между собой в плане каннибализации - FMCG производители, например.


Мне известны успешные проекты в ритейле и дистрибуции, там очень много SKU.

Прогноз будет делаться не на 3 года, это тоже понятно, обычно прогнозируют недель на 10 вперед.
Да?? "А ребята-то не знают" :)


Я говорю о реальных проектах. В разрезе SKU при широком ассортименте не так важно и нужно прогнозировать на год вперед, достаточно нескольких недель, чтобы корректно управлять закупками, производством и логистикой.

Дело в том, что нельзя вести прогнозирование на уровне SKU.

Вот эту Вашу цитату надо запостить в социальные сети, будет грандиозное обсуждение ;) Я понимаю о чем Вы пишете, но жизнь более многообразна, во многих случаях прогнозируют по каждому SKU, не учитывают все факторы, и т.п.

Если ритейлер умный - то у него все получится, особенно если он возьмет дефолтный инструмент
Почему-то я не видел еще ни одного крупного ритейлера, который бы выбрал "default BI". С кем работаю - Х5, Магнит, Леруа, Лента, Детский Мир и прочие - почему-то выбирают именно Qlik.


Под дефолтным инструментом я имел в виду лучшую систему прогнозирования и управления запасами, а не Default BI. Ни Cognos BI, ни Qlik, не заточены под задачи прогнозирования и управления запасами. Я понимаю, что у Вас связаны руки, и Вам нужно для любых задач предлагать Qlik. Я же выбираю для каждого класса задач лучшее решение в своем классе, независимо от принадлежности к тому или иному вендору, чтобы проекты были максимально успешными.
8 дек 17, 13:02    [21017937]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
bbx1389
Member

Откуда: Русија
Сообщений: 23950
George Nordic,

вставлю 5 копеек за IBM:)
У IBM очень хорошие , если не лучше инструменты для прогнозирования начиная от SPSS Statistica и далее Modeler и т.п. (я бы даже добавил, исторически).
Я во всех своих проектах, когда стоит задача поставить процесс прогнозирования использую их , т.к. можно очень быстро оценить , что за данные перед вами, какие модели подойдут лучше, стоит ли их категорировать и т.д. и т.п. Тот же R скорее дополнение к функционалу.

Задача по прогнозирования в ветке очень размыта .

Прогнозирование по ассортиментная матрице B2B какого-нибудь завода производителя и B2C торговой сети, вещи разные. Иногда категоризация нужна, иногда нет, иногда в категории есть несколько SKU-локомотивов, которые стоит ручками прогнозировать, а остальное нет и т.п.


Вот хорошая точность прогноза на ассортиментной матрице в 10 000 sku на ваш(или ваших заказчиков) взгляд какая?
8 дек 17, 13:14    [21017971]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3536
просто Cognos стал плохо покупаться

а впрочем, без особой разницы каким ПО смотреть хорошо подготовленные согласованные данные DWH.
А вот с DWH-ми что-то грустно, так еще нигде и не видел, чтобы впечатлиться, чтобы вах! Может, это только в банках такая карма.
8 дек 17, 13:14    [21017973]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
George Nordic
Дело в том, что нельзя вести прогнозирование на уровне SKU.

Юрий сделал вид, что не прочитал слово "магазины" и сразу съехал на более общую фразу "корректно управлять закупками, производством и логистикой".
Понятно, что на заводе гайка одна от гайки второй с одинаковыми размерами отличается кардинально, один производитель из одного металла делает, другой из другого. Тут логистика на уровне SKU.

Но, Юрий, это ведь не продажи. А производство и закупки для него. Не придирайтесь к фразам, контекст которых Вы ведь поняли.
8 дек 17, 13:33    [21018044]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
Alex_496
просто Cognos стал плохо покупаться

а впрочем, без особой разницы каким ПО смотреть хорошо подготовленные согласованные данные DWH.
А вот с DWH-ми что-то грустно, так еще нигде и не видел, чтобы впечатлиться, чтобы вах! Может, это только в банках такая карма.

У банков карма называется "ЦБ", у простых смертных называется "изменения НК РФ и новый конфиг 1С".
Когда учетные системы постоянно меняются, чтобы владельцы бизнеса не получили штрафы - DWH не могут быть априори кошерными. И получается не "ах", а "ой-вей".
8 дек 17, 13:35    [21018055]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1000
bbx1389
У IBM очень хорошие , если не лучше инструменты для прогнозирования начиная от SPSS Statistica и далее Modeler и т.п. (я бы даже добавил, исторически).
Точно! Я ж ими и занимался! :) Кстати, полностью согласен - к бюджетированию плюсую и предиктивную аналитику. :)

Возвращаясь к "темным данным" и методах работы с ними - вот на том же datamining я понял простую вещь: если заказчику это надо - телеком, соц.сети, некоторые крупные банки - они так все прекрасно знают. У них свои есть аналитики, которые на R / python / matlab с огромной скоростью пишут, и ничего им не нужно - еще и интегратору рассказать могут. А если компании не надо или она не понимает ценность - убедить их в том, что ей нужно нормальное прогнозирование или там "тёмные данные" осветлить - практически нереально.

С Уважением,
Георгий
8 дек 17, 13:41    [21018083]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
bbx1389
George Nordic,

вставлю 5 копеек за IBM:)
У IBM очень хорошие , если не лучше инструменты для прогнозирования

Маленький шажок в сторону - это все потому, что IBM работает на Пентагон, да и создавалась с целью обслуживания ВПК США, а у военных задачи прогнозирования всегда на первом месте, начиная с мобилизации...
Так что все разработчики, которые понимают прогнозирование, и дальше будут идти в стены IBM. Им там самое место.
8 дек 17, 13:41    [21018085]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1000
Ну, тут было бы неправильно SAS не упомянуть... В итоге, лично у меня сложилось впечатление, что SAS Dataminer и IBM SPSS делают работу с Dataminig проще для аналитиков, и не требуют такой сильной подготовки. Однако, продвинутые аналитики прекрасно себе используют и бесплатные пакеты - от вышеупомянутых до специализированных mahout для hadoop и прочих...

Главным минусом, это, пожалуй и было - конечных потребителей было не так много, а те, что есть - и так прекрасно разбираются в данных технологиях и готовы использовать бесплатную альтернативу. Как бы не вышло того же самого и с темными данными...

С Уважением,
Георгий
8 дек 17, 14:30    [21018327]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2991
2 bbx1389:

вставлю 5 копеек за IBM:)
У IBM очень хорошие , если не лучше инструменты для прогнозирования начиная от SPSS Statistica и далее Modeler


Да, инструменты хорошие, но есть более удобные инструменты для прогнозирования, не от IBM (особенно когда велики объемы данных, велико число пар SKU-склад). Да и в плане патриотичности, если посмотреть на карту России/Украины, IBM немного отстает ;)

2 Alex_496:

А вот с DWH-ми что-то грустно, так еще нигде и не видел, чтобы впечатлиться, чтобы вах

В этом плане стоит смотреть ХД, которые формируются с помощью искусственного интеллекта. Если там даже что-то будет не идеальным, то ИИ можно дополнительно обучать.

2 Andy_OLAP:

Дело в том, что нельзя вести прогнозирование на уровне SKU.
Юрий сделал вид, что не прочитал слово "магазины" и сразу съехал на более общую фразу "корректно управлять закупками, производством и логистикой".
Понятно, что на заводе гайка одна от гайки второй с одинаковыми размерами отличается кардинально, один производитель из одного металла делает, другой из другого. Тут логистика на уровне SKU.
Но, Юрий, это ведь не продажи. А производство и закупки для него. Не придирайтесь к фразам, контекст которых Вы ведь поняли


Перечитайте дискуссию. Мы с г-ном George Nordic говорили именно о магазинах, о ритейле, там прогнозируются продажи, и я знаю успешные проекты когда прогнозы в разрезе SKU. Для чего делаются прогнозы продаж по SKU - чтобы формировать планы закупок и логистики по SKU. А когда производственное предприятие анализирует данные по вторичным продажам в ритейле, то дополнительно решается задача управления производством (на основе того, какие ожидаются продажи).
8 дек 17, 14:34    [21018349]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
Jurii
и я знаю успешные проекты когда прогнозы в разрезе SKU.

И я тоже знаю. И все мы знаем, что это за SKU такие. Женская косметика в FMCG.
8 дек 17, 17:01    [21018961]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3536
ну раз уж тема про новые термины в области анализа данных, то предлагаю вот такое толкование понятия "Хранилище данных":

Училище -> Удилище -> Седалище -> Чистилище -> Влагалище -> Жилище -> {Забугорище}
13 дек 17, 15:13    [21030922]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
bideveloper
Member

Откуда:
Сообщений: 186
Jurii

В этом плане стоит смотреть ХД, которые формируются с помощью искусственного интеллекта. Если там даже что-то будет не идеальным, то ИИ можно дополнительно обучать.



Интересно, а есть описание как это работает?
13 дек 17, 16:31    [21031243]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2991
2 Andy_OLAP:

и я знаю успешные проекты когда прогнозы в разрезе SKU.
И я тоже знаю. И все мы знаем, что это за SKU такие. Женская косметика в FMCG.


Не напомните, какая там из дефолтных систем используется для прогнозирования? Можно в личку. Я имел в виду другие проекты.

2 bideveloper:

В этом плане стоит смотреть ХД, которые формируются с помощью искусственного интеллекта. Если там даже что-то будет не идеальным, то ИИ можно дополнительно обучать.
Интересно, а есть описание как это работает?


Пока идет тестирование ИИ на первых проектах, тема достаточно инновационная и конфиденциальная, документация в открытый доступ не выкладывается.
Если кратко, то ИИ заменяет работу аналитиков/архитекторов (которые спрашивают у ключевых пользователей, что им нужно в ХД, какие отчеты/аналитика/факт для бюджетов и проектируют ХД) и ИТ специалистов (которые создают ХД и разрабатывают процедуры перекачек данных/вычислений). Берутся одна или несколько баз учетных систем на одном или нескольких серверах, устанавливается база знаний ИИ, запускаются процедуры ИИ - сначала формируются типовые таблицы фактов и справочников, а потом ИИ определяет, что было кастомизировано, и формирует дополнительные таблицы фактов и справочников. Далее формируются коннекторы к таблицам фактов для дефолтного BI, чтобы можно было по-быстрому создать OLAP-кубы.
13 дек 17, 17:26    [21031511]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
LSV
Member

Откуда: Киев
Сообщений: 30226
Если кратко, то ИИ заменяет работу аналитиков/архитекторов
Это все глубокая туфта.
13 дек 17, 17:36    [21031560]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
Jurii
Не напомните, какая там из дефолтных систем используется для прогнозирования?

В FMCG дефолтная система - это SSAS из Редмонда. Впрочем, она таки дефолтная и в целом в РФ, и даже не только в РФ.
13 дек 17, 19:25    [21031866]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
LSV
Если кратко, то ИИ заменяет работу аналитиков/архитекторов
Это все глубокая туфта.

ИИ - это не Искусственный Интеллект, это Имитация Интеллекта.
Те, кто запрограммируют "ИИ" на работу вместо аналитиков/архитекторов, будут потом переделывать переучивать "ИИ" на нормальную работу еще долго и долго. Зарплата, рабочие места, "вот это всё" (с)
Так что пусть Юрий работает в этом направлении - всем ведь работы прибавится в конечном итоге.
13 дек 17, 19:27    [21031871]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2991
2 Andy_OLAP:

Не напомните, какая там из дефолтных систем используется для прогнозирования?
В FMCG дефолтная система - это SSAS из Редмонда. Впрочем, она таки дефолтная и в целом в РФ, и даже не только в РФ.


Я не слышал, чтобы SSAS использовалась для прогнозирования, SAS и SPSS более популярны, хотя и они не дотягивают до дефолтного уровня. Судя по Вашему акценту, Вы говорите про проекты не в России, а в более южной стране ;)

Если кратко, то ИИ заменяет работу аналитиков/архитекторов
ИИ - это не Искусственный Интеллект, это Имитация Интеллекта.
Те, кто запрограммируют "ИИ" на работу вместо аналитиков/архитекторов, будут потом переделывать переучивать "ИИ" на нормальную работу еще долго и долго. Зарплата, рабочие места, "вот это всё" (с)
Так что пусть Юрий работает в этом направлении - всем ведь работы прибавится в конечном итоге.


Вот это разумно, когда машины восстают - начинать работать на них, а не стараться с дикой скоростью печатать код для ХД на клавиатуре (ИИ создает код с недосягаемой для ИТ специалиста производительностью).
Обучение ИИ не так трудоемко, и в текущем варианте базы знаний для ИИ уже создаются полноценные хранилища данных за несколько часов из нескольких баз-источников. Я думаю что рынок ХД будет постепенно переформатироваться, будет увеличиваться доля быстрых проектов по ХД с помощью ИИ, и аналитики с ИТ специалистами будут востребованы для других задач (например, осуществлять поддержку и мелкие доработки ХД, разрабатывать отчеты/дашборды в дефолтном BI, и т.п.).

2 LSV:

Если кратко, то ИИ заменяет работу аналитиков/архитекторов
Это все глубокая туфта.


Вы считаете, что машину нельзя обучить тому, что делают аналитики/архитекторы в проекте разработки ХД?
Даже шахматам недавно ИИ обучили, а шахматы сложнее, чем ХД ;)
14 дек 17, 10:06    [21032753]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
LSV
Member

Откуда: Киев
Сообщений: 30226
автор
Вы считаете, что машину нельзя обучить тому, что делают аналитики/архитекторы в проекте разработки ХД?
Можно обучить тому, что они рутинно делают. Но это не ИИ.
Набор хороших отчетов сокращает кол-во аналитиков в 3 раза, которые ранее только тем и занимались, что из кучи отчетов днями лепили мутные эксельчики для руководства.
Извлечение из ХД какой-то новой аналитики ? Дык какой же это ИИ ? Это в сотый раз очередной отчет/дашборд.

зы: У нас даже должность есть "аналитик консолидированной информации". Хненачит из BI в эксельчики... :)
14 дек 17, 11:14    [21032963]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2991
2 LSV:

Вы считаете, что машину нельзя обучить тому, что делают аналитики/архитекторы в проекте разработки ХД?
Можно обучить тому, что они рутинно делают. Но это не ИИ.
Набор хороших отчетов сокращает кол-во аналитиков в 3 раза, которые ранее только тем и занимались, что из кучи отчетов днями лепили мутные эксельчики для руководства.
Извлечение из ХД какой-то новой аналитики ? Дык какой же это ИИ ? Это в сотый раз очередной отчет/дашборд.
зы: У нас даже должность есть "аналитик консолидированной информации". Хненачит из BI в эксельчики... :)


Вам приходилось разрабатывать ХД из нескольких источников данных?
Мы тут обсуждаем ИИ, который проектирует и формирует буферную область ХД, таблицы справочников и фактов, аналитические витрины данных, создает процедуры загрузки, трансформации, агрегации, обогащения данных, геокодирование, и т.п. А Вы говорите про готовое ХД, про то что делают отчеты, выгружают их в MS Excel...
14 дек 17, 11:52    [21033091]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
vikkiv
Member

Откуда: London
Сообщений: 1189
Опять пошли мухи с котлетами,

Andy_Olap намекает что ИИ человечество пока не придумало (в практическом плане), т.е. его не существует кроме как в форме маркетингового термина (и когда кто-то говорит что применяет ИИ - ну тут уже без комментариев..) несмотря на то что разговоры об этом идут десятилетия, есть модели с некоторой гибкостью параметры которых "обучаются" (в примитивном понятии уровня средней школы - найти коэффициент{ы} регрессии).
Так что тут скорее речь об алгоритмах со специфичной логикой в области ХД а не ИИ (что по факту всё ещё научная фантастика)

Функционально задачи аналитиков тоже несколько другие - они скорее пользователи отчётов (создатели их в основном для себя, т.е. конечная стадия подготовки данных для анализа), аналитик (тавтология) анализирует/исследует, делает выводы, идентифицирует формы/типы, занимается классификацией, часто собственно принимает и передаёт решения (в крупных организациях воплощаемые другими)
Единственная отчётная функция аналитика - форматирование выводов/результатов анализа - но это не настолько крупная функция в общем объёме и кроме того - довольно динамичная (каждый отчёт другой по форме), т.е. тут важна удобность платформы.

П.С. В SSAS есть как математическое фукции (напр. регрессии, корелляции) так и отдельная специализированная функциональность через DMX - оба варианта (вместе и каждый в отдельности) в моей профессиональной практике применялись для прогнозирования в том числе. (хотя сейчас MS предложило как отдельную облачную платформу для ML {даже с прямыми Web-Интерфейсами в Excel и пр. локальными приложениями через API} так и встроенную в SQL DB функциональность R - вот туда понемногу и переход ожидается в ближайшее время).
14 дек 17, 12:23    [21033219]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1680
vikkiv
человечество пока не придумало (в практическом плане), т.е. его не существует кроме как в форме маркетингового термина ...


ну новости это года, меня лично впечатлили:
"За 4 часа игры сама с собой нейронная сеть AlphaZero, получив на входе только правила, превзошла в шахматах не только людей и их полторы тысячи лет опыта, но и все существующие компьютерные программы, в том числе сильнейший Stockfish"
https://science.d3.ru/neironnaia-set-alphazero-okonchatelno-dobila-shakhmaty-1501320/?sorting=rating
14 дек 17, 12:31    [21033255]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
vikkiv
Member

Откуда: London
Сообщений: 1189
StarikNavy,

может я как не специалист что-то путаю но NN является обучаемым (или как у нас называют тренируемым) алгоритмом (пошаговый набор инструкций) а не ИИ (как конструировать алгоритмы).
14 дек 17, 13:04    [21033389]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
vikkiv
Member

Откуда: London
Сообщений: 1189
..хоть и в NN в некотором роде есть такие элементы
14 дек 17, 13:06    [21033394]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
vikkiv,

Я в целом согласен с Игорем Ашмановым. Когда он разделяет ИИ на голливудский и технический, ссылка на его выступление в Сколково в марте 2015-го.

Еще он рассуждает, что А есть понимание искусственного интеллекта у тех, кто этим занимается профессионально. Во-первых, этот термин неправильно переведён Artificial intelligence – в переводе означает “искусственное понимание”.

Ну и замечательная цитата про то, что люди сами то до конца не понимают, как они мыслят, и что вообще такой интеллект. Существует серьёзная проблема, заключающаяся в том, что человечество не смогло ни в науке, ни в философии определить понятие "осознавать". Мы про себя не знаем, как достоверно установить, что мы себя осознаём, и что это значит. То есть теории интеллекта по-настоящему не существует. Так же как осознания и понимания.
18 дек 17, 21:03    [21043855]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
vikkiv
Функционально задачи аналитиков тоже несколько другие - они скорее пользователи отчётов (создатели их в основном для себя, т.е. конечная стадия подготовки данных для анализа), аналитик (тавтология) анализирует/исследует, делает выводы, идентифицирует формы/типы, занимается классификацией, часто собственно принимает и передаёт решения (в крупных организациях воплощаемые другими)
Единственная отчётная функция аналитика - форматирование выводов/результатов анализа - но это не настолько крупная функция в общем объёме и кроме того - довольно динамичная (каждый отчёт другой по форме), т.е. тут важна удобность платформы.

Я вообще думаю, что Юрий таки поможет допилить некий "ИИ", который на платформе Cognos BI будет собирать некие хранилища для неких аналитиков. И даже завалит их сотнями и тысячами отчетов.
Но тут есть два "но".
1. Аналитики утонут в этом потоке информации, потому что сначала они определяют, что анализировать собираются, а потом уже под это дело отчеты собирают.
2. Они будут анализировать не то. Собирать копейку к копейке на анализе out-off-stock, когда условно можно продавить одного поставщика по ценам закупки - и получить на десятки и сотни рублей вместо копеек.
18 дек 17, 21:06    [21043861]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
LSV
автор
Вы считаете, что машину нельзя обучить тому, что делают аналитики/архитекторы в проекте разработки ХД?
Можно обучить тому, что они рутинно делают. Но это не ИИ.
Набор хороших отчетов сокращает кол-во аналитиков в 3 раза, которые ранее только тем и занимались, что из кучи отчетов днями лепили мутные эксельчики для руководства.
Извлечение из ХД какой-то новой аналитики ? Дык какой же это ИИ ? Это в сотый раз очередной отчет/дашборд.

зы: У нас даже должность есть "аналитик консолидированной информации". Хненачит из BI в эксельчики... :)

И это еще не страшно. Есть ситуация, когда количество переходит в качество. Есть условно 3 девочки с Excel, типа аналитики. И вот они собираются на мозговой штурм и начинают сыпать идеями, как помочь бизнесу. Рано или поздно одна из них докопается до верного решения, а другие бодро подхватят.
И есть вариант, когда ИИ делает им кучу отчетов. Трех девочек сокращают и берут одного опытного аналитика. Красота, экономия. Только вот потом аналитик увольняется/заболевает/голова занята разводом с женой - и выясняется, что груда отчетов, подготовленных машиной - никому не нужна.

Так что не нужно плодить безработицу и сокращать число аналитиков. Их зарплата не такая уж и большая на общем фоне. Пусть лучше сидят и устраивают мозговые штурмы...
18 дек 17, 21:09    [21043863]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2 3      [все]
Все форумы / OLAP и DWH Ответить