Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 999
Так, пятница, можно и отвлечься.

Дата Валют был, BigData хоть еще держится, но Gartner говорит что на спад пошла, DataLake - ну, это вечное.

Братцы, смотрите что нашел - новый термин "Тёмные данные":
TAdviser
В 2017 году Deloitte внесла "тёмную аналитику" в число перспективных технологий в своем восьмом ежегодном отчете «Технологические тренды 2017: Подвижное предприятие». По некоторым оценкам, на начало 2017 года около 80% данных на предприятии подпадают под категорию «темных»...К «темным» можно отнести и реляционные данные, извлекаемые из баз данных SQL — они поддаются тщательному анализу, но их не всегда можно использовать в качестве подспорья в операционной деятельности компании. Ещё меньше пользы от информации, которая скрывается в сообщениях электронной почты, корпоративных договорах, материалах презентаций и других «сырых» текстовых документах. Фото-, аудио- и видеофайлы — другой массив данных, который может служить ценным источником информации, и, следовательно, идей для бизнеса компании.
На начало 2017 года нельзя сказать, что добыча ценного материала из «темных» данных поставлена на поток. Такой деятельностью занимаются высококвалифицированные специалисты в области нейронных сетей и других технологий, которые позволяют анализировать выражения лиц, мимику и реакцию пользователей на те или иные объекты по видео и фото. Эффективный анализ изображения мог бы вооружить ритейлеров мощным средством прогнозирования новых трендов в моде и, соответственно, своевременно обновлять линейки одежды.
Так что быстро заставляйте сейлов с умным видом и его произносить. Что б впереди планеты всей.

Так. Темные данные есть, значит, должны и печеньки быть...

С Уважением,
Георгий
1 дек 17, 17:39    [20999207]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex.C
Member

Откуда:
Сообщений: 12
А что, "Тёмный аналитик" в трудовой вполне звучит :)
1 дек 17, 18:40    [20999347]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Barclay
Member

Откуда:
Сообщений: 64
Alex.C,

на подходе "Мутный разработчик" хранилища темных данных.
1 дек 17, 18:53    [20999371]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
George Nordic
Так, пятница, можно и отвлечься.

Дата Валют был, BigData хоть еще держится, но Gartner говорит что на спад пошла, DataLake - ну, это вечное.

Братцы, смотрите что нашел - новый термин "Тёмные данные":
TAdviser
В 2017 году Deloitte внесла "тёмную аналитику" в число перспективных технологий в своем восьмом ежегодном отчете «Технологические тренды 2017: Подвижное предприятие». По некоторым оценкам, на начало 2017 года около 80% данных на предприятии подпадают под категорию «темных»...К «темным» можно отнести и реляционные данные, извлекаемые из баз данных SQL — они поддаются тщательному анализу, но их не всегда можно использовать в качестве подспорья в операционной деятельности компании. Ещё меньше пользы от информации, которая скрывается в сообщениях электронной почты, корпоративных договорах, материалах презентаций и других «сырых» текстовых документах. Фото-, аудио- и видеофайлы — другой массив данных, который может служить ценным источником информации, и, следовательно, идей для бизнеса компании.
На начало 2017 года нельзя сказать, что добыча ценного материала из «темных» данных поставлена на поток. Такой деятельностью занимаются высококвалифицированные специалисты в области нейронных сетей и других технологий, которые позволяют анализировать выражения лиц, мимику и реакцию пользователей на те или иные объекты по видео и фото. Эффективный анализ изображения мог бы вооружить ритейлеров мощным средством прогнозирования новых трендов в моде и, соответственно, своевременно обновлять линейки одежды.
Так что быстро заставляйте сейлов с умным видом и его произносить. Что б впереди планеты всей.

Так. Темные данные есть, значит, должны и печеньки быть...

С Уважением,
Георгий



...отлично, наш ждет век ПРОСВЕТЛЕНИЯ!
би-девелоперы -- илюминаторы!

...можно ли найти темные данные в глубоком дата-болоте?

...50 оттенков темных данных...

...темнота -- друг молодежи!


ьььььььь сказка ьььььььььььььь

...в одном темном-претемном лесу деревьев-решений
жили темные-претемные данные...но однажды САС
добрый молодец решил бросить вызов темным данным
, взял ЛАССО, седло и пошел через локальные минимумы и
глобалэные максимумы регрессией на данные.
Данные долго сопротивлялись, подставляли коллениарные аттрибуты,
отвлекали неструктурными полями, силно шумели и не хотели валидироватся...
Но САС добрый молодец в последний момент разделил данные на кластеры,
нашел основные PCA вектора, расчленил их на 30/70 и обмотал
нейронной сетью.
Дорого (в денежном выражении) досталась САСу добру-молодцу победа.
С ликованием выташил САС темные данные на свет...

...а оказалось что они никому не нужны...
1 дек 17, 21:17    [20999619]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
bideveloper
Member

Откуда:
Сообщений: 148
George Nordic
Такой деятельностью занимаются высококвалифицированные специалисты в области нейронных сетей и других технологий, которые позволяют анализировать выражения лиц, мимику и реакцию пользователей на те или иные объекты по видео и фото. Эффективный анализ изображения мог бы вооружить ритейлеров мощным средством прогнозирования новых трендов в моде и, соответственно, своевременно обновлять линейки одежды


Т. е. допустим подходит клиент к куртке в торговом зале. И если по выражению лица его тошнит. То больше эту модель куртки не закупаем ))
2 дек 17, 05:41    [21000121]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 999
В одном темном-темном хранилище были темные-темные данный. Но однажды рука темного-темного аналитика натравила на них блокчейн, мэшин лёарнинг и нейронную сеть для получения светлых данных. Однако нейросеть быстро обучилась и зашифровала все данные, а потом начала шантажировать, требуя новый быстрый сервер для своих темных-темных дел. Путем долгих переговоров ей была предоставлена новая машину, на которую она перебралась, освободив старое хранилище. Для безопасности новое хранилище было отключено от корпоративной сети. Так и живет в недрах темной-темной компании сервер с темной-темной душой...
4 дек 17, 12:26    [21003898]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
George Nordic
В одном темном-темном хранилище были темные-темные данный. Но однажды рука темного-темного аналитика натравила на них блокчейн, мэшин лёарнинг и нейронную сеть для получения светлых данных. Однако нейросеть быстро обучилась и зашифровала все данные, а потом начала шантажировать, требуя новый быстрый сервер для своих темных-темных дел. Путем долгих переговоров ей была предоставлена новая машину, на которую она перебралась, освободив старое хранилище. Для безопасности новое хранилище было отключено от корпоративной сети. Так и живет в недрах темной-темной компании сервер с темной-темной душой...

А потом темный-темный властелин взял темный-темный сертификат с истекающим сроком годности и подсунул темному-темному серверу, а другие удалил. И перешифровала темные данные нейросеть с новым сертификатом. И закончился срок годности. И не нашла нейросеть в локальной сети темный-темный ЦС, и расшифровала она темные данные совсем. А темному-темному властелину то и было нужно - выключил он сервер, а диски с данными переткнул на другой, темный-темный сервер без нейросети.
Тут и стали темные данные жить-поживать да агрегированные данные выдавать. Я в той серверной был, пиво-водку не пил, потому как режимное предприятие...
4 дек 17, 13:22    [21004159]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 999
javajdbc
...а оказалось что они никому не нужны...


Дорогие модераторы, пожалуйста, не переносите ветку в ПТ. Там она погибнет, а здесь предлагаю обсудить задачи, которые теоретически могут быть решены. Это ж первая ласточка, все равно через год или два это все всплывет. Так что переведем ветку в конструктивное русло. И тут есть 2 аспекта, так как непонятно, что именно Deloitte подразумевает под "темными данными". Есть 2 аспекта:
* Это техническая информация, которая генерируется автоматически: теги, геокоординаты, время добавления / изменения, логи, ошибки дисков и тому подобное.

ну, тут задачи скорее на соблюдение неких правил (например, привязка геокоординат или почему в данном случае пришла информация с другими координатами - кстати, я такую задачу решал), или предиктивная аналитика по отказоустойчивости, нагрузке и т.п.

* Это непосредственно данные, которые лежат в хранилище (или нескольких источниках?). Так вот тут задача больше абстрактная, так как мы не понимаем, что за это конкретно за данные и какие вообще задачи можно решить. Но идея проста - "у вас все больше данных (а это так), поэтому научитесь извлекать из них ценность (спасибо, а какую ценность можно извлечь?)"

Так вот, давайте и поговорим, а какую ценность можно извлечь :)

А то будет как javajdbc говоритсказывает :)

С Уважением,
Георгий.
4 дек 17, 15:32    [21004664]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
bideveloper
George Nordic
Такой деятельностью занимаются высококвалифицированные специалисты в области нейронных сетей и других технологий, которые позволяют анализировать выражения лиц, мимику и реакцию пользователей на те или иные объекты по видео и фото. Эффективный анализ изображения мог бы вооружить ритейлеров мощным средством прогнозирования новых трендов в моде и, соответственно, своевременно обновлять линейки одежды


Т. е. допустим подходит клиент к куртке в торговом зале. И если по выражению лица его тошнит. То больше эту модель куртки не закупаем ))

А теперь мы таки совсем немножко подумаем о различии эмоционального поведения в США (где разрабатывается ПО) и в РФ (где эти системы будут внедрены).
Там на любой товар дежурная улыбка и удивление при виде нехорошего товара, тут удивление на дорогие ценники хорошего товара и улыбка при виде неадекватного товара, который непонятно кто вообще купит.

То есть темные данные - это когда модель обработки не соответствует реалиям той страны, где эта модель обработки планируется к применению на собранные данные, а других моделей для этих данных пока нет.
4 дек 17, 15:40    [21004715]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
George Nordic
а какую ценность можно извлечь :)

Как обычно - премии для программистов, внедряющих сбор и обработку темных данных, бонусы для менеджеров проектов.
И красивые презентации PowerPoint для отчетов "наверх".
Все равно никто их смотреть не будет - ни светлые, ни темные. Смотреть будут на прибыль и повышение продаж.

Поддерживаю просьбу к модераторам эту ветку не переносить. Вопрос скорее философский, чем юмористический.
4 дек 17, 15:42    [21004726]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3509
По большому счету отчетность и дашборды никому не нужны, особенно качество данных.
На отчеты смотрят, если это касается зарплаты-мотивации, ну и обязательная отчетность для налоговой, регулятора.
А так, действительно, главное - ПРОДАЖИ
4 дек 17, 17:20    [21005082]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2969
А так, действительно, главное - ПРОДАЖИ

Если использовать Кактус-BI - то это так ;)
Но еще лучше себя не ограничивать. Более интересно не только смотреть план-факт по продажам, а получать информацию, что нужно сделать, чтобы получить оптимальную прибыль, или как увеличить продажи. Поэтому нужен и Data Mining, и оптимизационные модели, и планирование/бюджетирование, полный дефолтный комплект ;)
4 дек 17, 20:56    [21005544]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
LSV
Member

Откуда: Киев
Сообщений: 30150
Так что быстро заставляйте сейлов с умным видом и его произносить. Что б впереди планеты всей.
ИТ катится в какое-то говно. :)
Один сплошной хайп. Придумывают умные слова и технологии без к-л полезного содержания.
Кризис жанра, прям как в кино. Людям просто нечем заняццо.
5 дек 17, 11:50    [21006715]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2969
ИТ катится в какое-то г***о. :)
Один сплошной хайп. Придумывают умные слова и технологии без к-л полезного содержания.
Кризис жанра, прям как в кино. Людям просто нечем заняццо.


Есть и полезные темы - например, обучение Исинов, чтобы заменять ими аналитиков и ИТ-специалистов.
5 дек 17, 12:46    [21006901]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
George Nordic,

Еще раз перечитал фразу "К «темным» можно отнести и реляционные данные, извлекаемые из баз данных SQL — они поддаются тщательному анализу, но их не всегда можно использовать в качестве подспорья в операционной деятельности компании". И понял, что именно можно отнести к "темным" данным.

Есть некая фирма. В далеком 201x году торговала товарами A и B, вела учет в базе 1С. В 2017-м поменяла профиль, переключилась на товары C. База распухла, ее вынесли в архивную копию, а "боевую" порезали и справочник номенклатуры и контрагентов (как поставщиков) проредили от ненужного хлама.

И вот есть из базы архивной история продаж, маржи, остатков, оборачиваемости и всего прочего по товарам A и B. И видим мы в тщательном анализе, что продажник Иванов хорошо торговал товаром B, а продажник Петров на нем делал основную прибыль фирмы. И даже можем сделать выводы. Ретроспективные выводы. Потому что сейчас Сидоров сидит и продает товар C. А про Иванова и Петрова ему гендир байки рассказывает "как было трудно в 201x, но мы выстояли и не разорились".

То есть данные есть. Анализ есть. Тщательный. А подспорье в операционной деятельности компании - нулевое. Вот и вопрос, а нужны такие "темные" или нет. Разве что по анализу поставщиков, чтобы тех, кто косячил с товарами A и B регулярно, стараться не привлекать к поставкам товара C. Но и тут - у них руководство поменялось, менеджеры поменялись, поставки теперь регулярные и по минимальным на рынке ценам. Так что историю отношений можно перечеркнуть и начать "с нуля".
6 дек 17, 02:04    [21009462]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 999
Andy_OLAP, я еще дополню. Например, прогнозирование. Ну, извлекли мы данные за 2007, 2008, 2009, построили прогноз.... Просто красота. :) Или вот еще - один очень крупный и умный ритейлер хочет вести прогнозирование по всем SKU за 3 года. Отличная задача, но движение по SKU 20%-30% Y2Y. И что ты напрогнозируешь по SKU? Когда занимался datamining, это самая большая проблема была - не предложишь ты нормально прогнозирование, не приведя в порядок категорийный менеджмент. Хотя DM может помочь выявить SKU со схожими потребительскими свойствами, но это лишь помочь в наведении порядка. И только потом можно прогноз строить в разрезе категорий со схожими потребительскими свойствами. Увы, не сделает все за тебя черный ящик, темные там данные или светлее некуда.

С Уважением,
Георгий
6 дек 17, 12:04    [21010354]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3509
George Nordic,

+1
6 дек 17, 16:35    [21011773]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2969
2 George Nordic:

Или вот еще - один очень крупный и умный ритейлер хочет вести прогнозирование по всем SKU за 3 года. Отличная задача, но движение по SKU 20%-30% Y2Y. И что ты напрогнозируешь по SKU

Если ритейлер умный - то у него все получится, особенно если он возьмет дефолтный инструмент ;) Взять исходные данные за 3 года по SKU и по дням - вполне логично. Прогноз будет делаться не на 3 года, это тоже понятно, обычно прогнозируют недель на 10 вперед. Для новых SKU можно делать настройку, чтобы их прогноз строился на основе другого старого SKU или группы номенклатуры. Детализация прогноза нужна, поскольку заказы надо делать по каждому SKU. В целом любого Исина, чтобы он заработал и заменил труд сотрудников, сначала нужно обучить, настроить. У крупных ритейлеров обычно много магазинов и большой ассортимент SKU, прогнозировать вручную - очень трудоемко. Успешные проекты по прогнозированию в разрезе SKU имеют место в России...
6 дек 17, 18:29    [21012398]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
xenix
Guest
Вечер фантазий в разгаре.
Итак, правильный BI должен быть таким:
1. Желательно облачным - иначе надо платить зарплату этим непонятным ИТ-специалистам, которые, вот с..ки такие, чего-то там должны настроить прежде, чем вождь получит прогноз реализации красных трусселей в апреле в штате Мичиган. Если не облачным, то таким, чтобы его могла поставить уборщица с двумя классами заочного образования, причем на любой компьютер - от Б/У-шного хлама до AIX-машины с двумя терабайтами памяти на борту
2. После установки непонятного плагина, которую выполняет загадочный типус "бизнес-аналитик", вышеупомянутый плагин сканирует сеть и определяет, что на сервере 192.168.1.18 стоит 1С, на сервере 192.168.1.29 стоит что-то вроде SAP и т.д. Естественно, плагин на лету понимает, что таблица dbo.Acc7809 - это обороты по счетам, поле Fld18 - кредитовый счет операции, Fld72 - дебетовый счет и т.д.
3. Прочесывает файловые помойки, где разное менеджерье хранит свои Богом и людьми проклятые Эксели
4. Сводит все данные из пунктов 2 и 3 воедино
5. формирует красивую и понятную любому балбесу отчетность
6. автоматом строит прогнозы закупки трусселей на пять лет вперед с достоверностью 99.999%
7. если, не приведи Бог, планы барыжничества трусселями не выполняются и покупка вождю нового джипа откладывается на пару дней, - формирует список для наказания невиновных и награждения непричастных
6 дек 17, 22:19    [21012914]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
George Nordic
javajdbc
...а оказалось что они никому не нужны...


Дорогие модераторы, пожалуйста, не переносите ветку в ПТ. Там она погибнет, а здесь предлагаю обсудить задачи, которые теоретически могут быть решены. Это ж первая ласточка, все равно через год или два это все всплывет. Так что переведем ветку в конструктивное русло. И тут есть 2 аспекта, так как непонятно, что именно Deloitte подразумевает под "темными данными". Есть 2 аспекта:
* Это техническая информация, которая генерируется автоматически: теги, геокоординаты, время добавления / изменения, логи, ошибки дисков и тому подобное.

ну, тут задачи скорее на соблюдение неких правил (например, привязка геокоординат или почему в данном случае пришла информация с другими координатами - кстати, я такую задачу решал), или предиктивная аналитика по отказоустойчивости, нагрузке и т.п.

* Это непосредственно данные, которые лежат в хранилище (или нескольких источниках?). Так вот тут задача больше абстрактная, так как мы не понимаем, что за это конкретно за данные и какие вообще задачи можно решить. Но идея проста - "у вас все больше данных (а это так), поэтому научитесь извлекать из них ценность (спасибо, а какую ценность можно извлечь?)"

Так вот, давайте и поговорим, а какую ценность можно извлечь :)

А то будет как javajdbc говоритсказывает :)

С Уважением,
Георгий.



>> Так вот, давайте и поговорим, а какую ценность можно извлечь :)


...была статейка на тему что из чего можно извлечь...
https://kieranhealy.org/blog/archives/2013/06/09/using-metadata-to-find-paul-revere/

вкратце:
Взяли список посещений клубов Бостона
перед тамошней революции против англичан...
..."темные данные" -- только фамилии и факт посешения (или членства?) в десятке клубов.
В результате достаточно легко определили всех "главарей"

С другой стороны таких книг посещений тысячи/милионы
а фактов посещений -- милиарды... и что, все время искать революцию?

...собствено ангенства безопасности так и делают, но
простым капиталистам нужна только завтряшняя прибыль
(маркетинг, оптимизация, риски, тенденции...)

т.е. в некрупных конторах темные данные даже если и завалялись,
то никому не упали. В крупных конторах есть шанс раскопать что-то
... знакомуй работает в банке, который купил другой банк и
копает купленые 30 лет кредитных историй на предмет улучшения модели рисков...

...мое мнение, что темные данные НЕ нужны хозяивам
(были бы нужны -- из бы давно копали)...
но эти данные могут быть интересны кому-то другому
(как Английской короне могли быть интересны книги посещения
бостонских клубов, (бы если б дата анализ бы сушествовал в те времена...бы))...
7 дек 17, 03:23    [21013345]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
javajdbc
Member

Откуда: Montreal
Сообщений: 17798
xenix
Вечер фантазий в разгаре.
Итак, правильный BI должен быть таким:
1. Желательно облачным - иначе надо платить зарплату этим непонятным ИТ-специалистам, которые, вот с..ки такие, чего-то там должны настроить прежде, чем вождь получит прогноз реализации красных трусселей в апреле в штате Мичиган. Если не облачным, то таким, чтобы его могла поставить уборщица с двумя классами заочного образования, причем на любой компьютер - от Б/У-шного хлама до AIX-машины с двумя терабайтами памяти на борту
2. После установки непонятного плагина, которую выполняет загадочный типус "бизнес-аналитик", вышеупомянутый плагин сканирует сеть и определяет, что на сервере 192.168.1.18 стоит 1С, на сервере 192.168.1.29 стоит что-то вроде SAP и т.д. Естественно, плагин на лету понимает, что таблица dbo.Acc7809 - это обороты по счетам, поле Fld18 - кредитовый счет операции, Fld72 - дебетовый счет и т.д.
3. Прочесывает файловые помойки, где разное менеджерье хранит свои Богом и людьми проклятые Эксели
4. Сводит все данные из пунктов 2 и 3 воедино
5. формирует красивую и понятную любому балбесу отчетность
6. автоматом строит прогнозы закупки трусселей на пять лет вперед с достоверностью 99.999%
7. если, не приведи Бог, планы барыжничества трусселями не выполняются и покупка вождю нового джипа откладывается на пару дней, - формирует список для наказания невиновных и награждения непричастных



...красиво то как... заверните пожалуйста.... нет, две заверните...!!!!!
7 дек 17, 05:27    [21013365]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3509
javajdbc
xenix
Вечер фантазий в разгаре.
Итак, правильный BI должен быть таким:
1. Желательно облачным - иначе надо платить зарплату этим непонятным ИТ-специалистам, которые, вот с..ки такие, чего-то там должны настроить прежде, чем вождь получит прогноз реализации красных трусселей в апреле в штате Мичиган. Если не облачным, то таким, чтобы его могла поставить уборщица с двумя классами заочного образования, причем на любой компьютер - от Б/У-шного хлама до AIX-машины с двумя терабайтами памяти на борту
2. После установки непонятного плагина, которую выполняет загадочный типус "бизнес-аналитик", вышеупомянутый плагин сканирует сеть и определяет, что на сервере 192.168.1.18 стоит 1С, на сервере 192.168.1.29 стоит что-то вроде SAP и т.д. Естественно, плагин на лету понимает, что таблица dbo.Acc7809 - это обороты по счетам, поле Fld18 - кредитовый счет операции, Fld72 - дебетовый счет и т.д.
3. Прочесывает файловые помойки, где разное менеджерье хранит свои Богом и людьми проклятые Эксели
4. Сводит все данные из пунктов 2 и 3 воедино
5. формирует красивую и понятную любому балбесу отчетность
6. автоматом строит прогнозы закупки трусселей на пять лет вперед с достоверностью 99.999%
7. если, не приведи Бог, планы барыжничества трусселями не выполняются и покупка вождю нового джипа откладывается на пару дней, - формирует список для наказания невиновных и награждения непричастных



...красиво то как... заверните пожалуйста.... нет, две заверните...!!!!!


это жеж Cognos BI
7 дек 17, 06:10    [21013386]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
Alex_496
это жеж Cognos BI

В доме, который построил Джек На сервере, который развернул и настроил САМ Юрий.

А если по делу - это не сюжет фантастического фильма, это типовой сценарий работы с данными лет через 15 (оптимизм) или 20 (пессимизм). Мы все в целом, IT-шники, своими руками копаем себе большую могилу. Безработица и замена на ИИ (Имитация Интеллекта) нас ждет неизбежно. Как ткачей в Индии при развитии в Англии фабрик...
7 дек 17, 09:41    [21013643]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 2969
2 javajdbc:

Вечер фантазий в разгаре.
Итак, правильный BI должен быть таким:
1. Желательно облачным - иначе надо платить зарплату этим непонятным ИТ-специалистам, которые, вот с..ки такие, чего-то там должны настроить прежде, чем вождь получит прогноз реализации красных трусселей в апреле в штате Мичиган. Если не облачным, то таким, чтобы его могла поставить уборщица с двумя классами заочного образования, причем на любой компьютер - от Б/У-шного хлама до AIX-машины с двумя терабайтами памяти на борту
2. После установки непонятного плагина, которую выполняет загадочный типус "бизнес-аналитик", вышеупомянутый плагин сканирует сеть и определяет, что на сервере 192.168.1.18 стоит 1С, на сервере 192.168.1.29 стоит что-то вроде SAP и т.д. Естественно, плагин на лету понимает, что таблица dbo.Acc7809 - это обороты по счетам, поле Fld18 - кредитовый счет операции, Fld72 - дебетовый счет и т.д.
3. Прочесывает файловые помойки, где разное менеджерье хранит свои Богом и людьми проклятые Эксели
4. Сводит все данные из пунктов 2 и 3 воедино
5. формирует красивую и понятную любому балбесу отчетность
6. автоматом строит прогнозы закупки трусселей на пять лет вперед с достоверностью 99.999%
7. если, не приведи Бог, планы барыжничества трусселями не выполняются и покупка вождю нового джипа откладывается на пару дней, - формирует список для наказания невиновных и награждения непричастных

...красиво то как... заверните пожалуйста.... нет, две заверните...!!!!!


Мне хорошо знакомо подобное решение, только к нему пока для комплектности требуется паяльник, чтобы брут форсом не подбирать логины/пароли и параметры соединения с базами данных и файлами Excel ;)

Если Вы не под санкциями, и можете использовать российское ПО, то рекомендую отправить заявку на бета-тестирование ( http://ai4you.gr8.com ). Нужно будет на одном или нескольких серверах выложить одну или несколько баз данных учетных систем, желательно содержащих кастомизацию (некие документы/справочники, которые не являются типовыми для известных конфигураций учетных систем). Дополнительно можно выложить файлы Excel с неструктурированными и полуструктурированными данными. После этого, искусственный интеллект создаст ХД, аналитические витрины данных, проведет прогнозирование продаж, сформируются OLAP-кубы, отчеты/дашборды, и т.п.

2 Alex_496:

это жеж Cognos BI

Строго говоря, это Cognos BI ME (Magic Edition) ;)
7 дек 17, 10:00    [21013723]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 999
Блин, да что ж такое.
Jurii
;) Взять исходные данные за 3 года по SKU и по дням - вполне логично.
Прекрасно, возьмите данные за 2007, 2008 и 2009 год и постройте прогноз. Посмеемся.
Jurii
Успешные проекты по прогнозированию в разрезе SKU имеют место в России...
Согласен. У кого очень немного SKU или они сильно разные, со слабой корреляцией между собой в плане каннибализации - FMCG производители, например.
Jurii
Прогноз будет делаться не на 3 года, это тоже понятно, обычно прогнозируют недель на 10 вперед. Для новых SKU
можно делать настройку, чтобы их прогноз строился на основе другого старого SKU или группы номенклатуры.У крупных ритейлеров обычно много магазинов и большой ассортимент SKU, прогнозировать вручную - очень трудоемко.
Да?? "А ребята-то не знают" :)
Jurii
Детализация прогноза нужна, поскольку заказы надо делать по каждому SKU

Юр, это не так делается немного. Давай расскажу.

Дело в том, что нельзя вести прогнозирование на уровне SKU. Для вас 1 кг сахарного песка от ООО "Манечка" и ООО "Танечка" - это одно и то же. А для системы - два абсолютно разных товара, с разными сроками и квантами поставки и себестоимостью. Следовательно, товары необходимо объединить в группы со схожими потребительскими свойствами: "Сахар", фасовка "1кг", "Песок", "средний ценовой диапазон".
При этом:
* Потребление рафинированного сахара летом будет снижаться (его берут для офисов, летом снижает деловая активность - снижается потребление рафинада)
* В июле-сентябре вырастает потребление сахарного песка, причем популярностью пользуется фасовка в 2-5-10 кг. (народ варит варенье / компоты)
* Вместо упаковки 2 кг народ готов взять 2х1кг, если разница несущественна
* Вместо рафинада, возможно, потребитель готов купить сахарный песок. Но не готов вместо песка купить рафинад. Особенно в сезон.
* Не везде потребитель готов переплачивать или покупать дорогой сахарный песок, например, тростниковый. Однако, если его включить в матрицу в правильных магазинах, он займет категорию AY, а то и AX. Хотя обычно - это больше BY (конкуренция не дает ему стать A, хотя спрос на него стабилен). Хотя при этом он будет отъедать долю у рафинада (каннибализация), но маржа покроет это с лихвой.

Кроме сезонности, каннибализации и совместно потребляемых товаров (желатин в сезон, например, или крышки для консервирования), важно учесть погоду (теплее лето - лучше урожай - больше потребление), курс на нефть / доллар / экономическую ситуацию в стране (чем хуже ситуация, тем больше людей занимаются приусадебным хозяйством, тем выше потребление сахарного песка в сезон), ситуацию на рынке (требования / сертификация / урожай / кол-во производителей), и другие факторы. Например, рост цен на водку ведет к увеличению самогоноварения и росту спроса на сахар.

И это-только сахар песок. Для других категорий, кроме сезонности, надо еще учитывать календарь - постоянные (Новый год, Рождество, 14 и 23 февраля, 8 марта) и плавающие праздники (пост, ураза байрам, курбан байрам, последняя пятница июля и т.п.), а также прочие день строителя и день нефтяника.

Поэтому нельзя получить хорошую прогнозную модель, не приведя в порядок категорийный менеджмент. Только имея группировку SKU со схожими потребительскими свойствами. А потом уже, внутри группы, КМ (категорийный менеджер может играться матрицей, добавляя / удаляя товары на уровне SKU и работая с поставщиками).

Ну и постоянная обратная связь и подстройка, разумеется. Динамическое изменение буфера, маркетинговые акции и из отслеживание...
Jurii
Если ритейлер умный - то у него все получится, особенно если он возьмет дефолтный инструмент
Почему-то я не видел еще ни одного крупного ритейлера, который бы выбрал "default BI". С кем работаю - Х5, Магнит, Леруа, Лента, Детский Мир и прочие - почему-то выбирают именно Qlik. И, кстати, ведут ОЧЕНЬ большие проекты - коллеги с этого форума могут подтвердить. И MS BI - тоже очень-очень много. Дикси, Магнолия, и множество ритейлеров поменьше. Появляются проекты на SAP Hana - в том же Х5, например. А вот нахваливаемый вами - ни разу для анализа данных не видел. Хотя для задач бюджетирования - очень даже хорош.

С Уважением,
Георгий.
8 дек 17, 12:17    [21017712]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить