Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3060
2 George Nordic:

;) Взять исходные данные за 3 года по SKU и по дням - вполне логично.
Прекрасно, возьмите данные за 2007, 2008 и 2009 год и постройте прогноз. Посмеемся.


Зачем мне старые данные? Я возьму данные за последние 3 года. Перечитайте внимательно Ваш пост, Вы не говорили что ритейлер хочет взять более старые данные.

Успешные проекты по прогнозированию в разрезе SKU имеют место в России...
Согласен. У кого очень немного SKU или они сильно разные, со слабой корреляцией между собой в плане каннибализации - FMCG производители, например.


Мне известны успешные проекты в ритейле и дистрибуции, там очень много SKU.

Прогноз будет делаться не на 3 года, это тоже понятно, обычно прогнозируют недель на 10 вперед.
Да?? "А ребята-то не знают" :)


Я говорю о реальных проектах. В разрезе SKU при широком ассортименте не так важно и нужно прогнозировать на год вперед, достаточно нескольких недель, чтобы корректно управлять закупками, производством и логистикой.

Дело в том, что нельзя вести прогнозирование на уровне SKU.

Вот эту Вашу цитату надо запостить в социальные сети, будет грандиозное обсуждение ;) Я понимаю о чем Вы пишете, но жизнь более многообразна, во многих случаях прогнозируют по каждому SKU, не учитывают все факторы, и т.п.

Если ритейлер умный - то у него все получится, особенно если он возьмет дефолтный инструмент
Почему-то я не видел еще ни одного крупного ритейлера, который бы выбрал "default BI". С кем работаю - Х5, Магнит, Леруа, Лента, Детский Мир и прочие - почему-то выбирают именно Qlik.


Под дефолтным инструментом я имел в виду лучшую систему прогнозирования и управления запасами, а не Default BI. Ни Cognos BI, ни Qlik, не заточены под задачи прогнозирования и управления запасами. Я понимаю, что у Вас связаны руки, и Вам нужно для любых задач предлагать Qlik. Я же выбираю для каждого класса задач лучшее решение в своем классе, независимо от принадлежности к тому или иному вендору, чтобы проекты были максимально успешными.
8 дек 17, 13:02    [21017937]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
bbx1389
Member

Откуда: Русија
Сообщений: 23332
George Nordic,

вставлю 5 копеек за IBM:)
У IBM очень хорошие , если не лучше инструменты для прогнозирования начиная от SPSS Statistica и далее Modeler и т.п. (я бы даже добавил, исторически).
Я во всех своих проектах, когда стоит задача поставить процесс прогнозирования использую их , т.к. можно очень быстро оценить , что за данные перед вами, какие модели подойдут лучше, стоит ли их категорировать и т.д. и т.п. Тот же R скорее дополнение к функционалу.

Задача по прогнозирования в ветке очень размыта .

Прогнозирование по ассортиментная матрице B2B какого-нибудь завода производителя и B2C торговой сети, вещи разные. Иногда категоризация нужна, иногда нет, иногда в категории есть несколько SKU-локомотивов, которые стоит ручками прогнозировать, а остальное нет и т.п.


Вот хорошая точность прогноза на ассортиментной матрице в 10 000 sku на ваш(или ваших заказчиков) взгляд какая?
8 дек 17, 13:14    [21017971]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex_496
Member

Откуда:
Сообщений: 3742
просто Cognos стал плохо покупаться

а впрочем, без особой разницы каким ПО смотреть хорошо подготовленные согласованные данные DWH.
А вот с DWH-ми что-то грустно, так еще нигде и не видел, чтобы впечатлиться, чтобы вах! Может, это только в банках такая карма.
8 дек 17, 13:14    [21017973]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2750
George Nordic
Дело в том, что нельзя вести прогнозирование на уровне SKU.

Юрий сделал вид, что не прочитал слово "магазины" и сразу съехал на более общую фразу "корректно управлять закупками, производством и логистикой".
Понятно, что на заводе гайка одна от гайки второй с одинаковыми размерами отличается кардинально, один производитель из одного металла делает, другой из другого. Тут логистика на уровне SKU.

Но, Юрий, это ведь не продажи. А производство и закупки для него. Не придирайтесь к фразам, контекст которых Вы ведь поняли.
8 дек 17, 13:33    [21018044]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2750
Alex_496
просто Cognos стал плохо покупаться

а впрочем, без особой разницы каким ПО смотреть хорошо подготовленные согласованные данные DWH.
А вот с DWH-ми что-то грустно, так еще нигде и не видел, чтобы впечатлиться, чтобы вах! Может, это только в банках такая карма.

У банков карма называется "ЦБ", у простых смертных называется "изменения НК РФ и новый конфиг 1С".
Когда учетные системы постоянно меняются, чтобы владельцы бизнеса не получили штрафы - DWH не могут быть априори кошерными. И получается не "ах", а "ой-вей".
8 дек 17, 13:35    [21018055]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1048
bbx1389
У IBM очень хорошие , если не лучше инструменты для прогнозирования начиная от SPSS Statistica и далее Modeler и т.п. (я бы даже добавил, исторически).
Точно! Я ж ими и занимался! :) Кстати, полностью согласен - к бюджетированию плюсую и предиктивную аналитику. :)

Возвращаясь к "темным данным" и методах работы с ними - вот на том же datamining я понял простую вещь: если заказчику это надо - телеком, соц.сети, некоторые крупные банки - они так все прекрасно знают. У них свои есть аналитики, которые на R / python / matlab с огромной скоростью пишут, и ничего им не нужно - еще и интегратору рассказать могут. А если компании не надо или она не понимает ценность - убедить их в том, что ей нужно нормальное прогнозирование или там "тёмные данные" осветлить - практически нереально.

С Уважением,
Георгий
8 дек 17, 13:41    [21018083]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2750
bbx1389
George Nordic,

вставлю 5 копеек за IBM:)
У IBM очень хорошие , если не лучше инструменты для прогнозирования

Маленький шажок в сторону - это все потому, что IBM работает на Пентагон, да и создавалась с целью обслуживания ВПК США, а у военных задачи прогнозирования всегда на первом месте, начиная с мобилизации...
Так что все разработчики, которые понимают прогнозирование, и дальше будут идти в стены IBM. Им там самое место.
8 дек 17, 13:41    [21018085]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1048
Ну, тут было бы неправильно SAS не упомянуть... В итоге, лично у меня сложилось впечатление, что SAS Dataminer и IBM SPSS делают работу с Dataminig проще для аналитиков, и не требуют такой сильной подготовки. Однако, продвинутые аналитики прекрасно себе используют и бесплатные пакеты - от вышеупомянутых до специализированных mahout для hadoop и прочих...

Главным минусом, это, пожалуй и было - конечных потребителей было не так много, а те, что есть - и так прекрасно разбираются в данных технологиях и готовы использовать бесплатную альтернативу. Как бы не вышло того же самого и с темными данными...

С Уважением,
Георгий
8 дек 17, 14:30    [21018327]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3060
2 bbx1389:

вставлю 5 копеек за IBM:)
У IBM очень хорошие , если не лучше инструменты для прогнозирования начиная от SPSS Statistica и далее Modeler


Да, инструменты хорошие, но есть более удобные инструменты для прогнозирования, не от IBM (особенно когда велики объемы данных, велико число пар SKU-склад). Да и в плане патриотичности, если посмотреть на карту России/Украины, IBM немного отстает ;)

2 Alex_496:

А вот с DWH-ми что-то грустно, так еще нигде и не видел, чтобы впечатлиться, чтобы вах

В этом плане стоит смотреть ХД, которые формируются с помощью искусственного интеллекта. Если там даже что-то будет не идеальным, то ИИ можно дополнительно обучать.

2 Andy_OLAP:

Дело в том, что нельзя вести прогнозирование на уровне SKU.
Юрий сделал вид, что не прочитал слово "магазины" и сразу съехал на более общую фразу "корректно управлять закупками, производством и логистикой".
Понятно, что на заводе гайка одна от гайки второй с одинаковыми размерами отличается кардинально, один производитель из одного металла делает, другой из другого. Тут логистика на уровне SKU.
Но, Юрий, это ведь не продажи. А производство и закупки для него. Не придирайтесь к фразам, контекст которых Вы ведь поняли


Перечитайте дискуссию. Мы с г-ном George Nordic говорили именно о магазинах, о ритейле, там прогнозируются продажи, и я знаю успешные проекты когда прогнозы в разрезе SKU. Для чего делаются прогнозы продаж по SKU - чтобы формировать планы закупок и логистики по SKU. А когда производственное предприятие анализирует данные по вторичным продажам в ритейле, то дополнительно решается задача управления производством (на основе того, какие ожидаются продажи).
8 дек 17, 14:34    [21018349]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2750
Jurii
и я знаю успешные проекты когда прогнозы в разрезе SKU.

И я тоже знаю. И все мы знаем, что это за SKU такие. Женская косметика в FMCG.
8 дек 17, 17:01    [21018961]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Alex_496
Member

Откуда:
Сообщений: 3742
ну раз уж тема про новые термины в области анализа данных, то предлагаю вот такое толкование понятия "Хранилище данных":

Училище -> Удилище -> Седалище -> Чистилище -> Влагалище -> Жилище -> {Забугорище}
13 дек 17, 15:13    [21030922]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
bideveloper
Member

Откуда:
Сообщений: 358
Jurii

В этом плане стоит смотреть ХД, которые формируются с помощью искусственного интеллекта. Если там даже что-то будет не идеальным, то ИИ можно дополнительно обучать.



Интересно, а есть описание как это работает?
13 дек 17, 16:31    [21031243]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3060
2 Andy_OLAP:

и я знаю успешные проекты когда прогнозы в разрезе SKU.
И я тоже знаю. И все мы знаем, что это за SKU такие. Женская косметика в FMCG.


Не напомните, какая там из дефолтных систем используется для прогнозирования? Можно в личку. Я имел в виду другие проекты.

2 bideveloper:

В этом плане стоит смотреть ХД, которые формируются с помощью искусственного интеллекта. Если там даже что-то будет не идеальным, то ИИ можно дополнительно обучать.
Интересно, а есть описание как это работает?


Пока идет тестирование ИИ на первых проектах, тема достаточно инновационная и конфиденциальная, документация в открытый доступ не выкладывается.
Если кратко, то ИИ заменяет работу аналитиков/архитекторов (которые спрашивают у ключевых пользователей, что им нужно в ХД, какие отчеты/аналитика/факт для бюджетов и проектируют ХД) и ИТ специалистов (которые создают ХД и разрабатывают процедуры перекачек данных/вычислений). Берутся одна или несколько баз учетных систем на одном или нескольких серверах, устанавливается база знаний ИИ, запускаются процедуры ИИ - сначала формируются типовые таблицы фактов и справочников, а потом ИИ определяет, что было кастомизировано, и формирует дополнительные таблицы фактов и справочников. Далее формируются коннекторы к таблицам фактов для дефолтного BI, чтобы можно было по-быстрому создать OLAP-кубы.
13 дек 17, 17:26    [21031511]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
LSV
Member [заблокирован]

Откуда: Киев
Сообщений: 30818
Если кратко, то ИИ заменяет работу аналитиков/архитекторов
Это все глубокая туфта.
13 дек 17, 17:36    [21031560]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2750
Jurii
Не напомните, какая там из дефолтных систем используется для прогнозирования?

В FMCG дефолтная система - это SSAS из Редмонда. Впрочем, она таки дефолтная и в целом в РФ, и даже не только в РФ.
13 дек 17, 19:25    [21031866]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2750
LSV
Если кратко, то ИИ заменяет работу аналитиков/архитекторов
Это все глубокая туфта.

ИИ - это не Искусственный Интеллект, это Имитация Интеллекта.
Те, кто запрограммируют "ИИ" на работу вместо аналитиков/архитекторов, будут потом переделывать переучивать "ИИ" на нормальную работу еще долго и долго. Зарплата, рабочие места, "вот это всё" (с)
Так что пусть Юрий работает в этом направлении - всем ведь работы прибавится в конечном итоге.
13 дек 17, 19:27    [21031871]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3060
2 Andy_OLAP:

Не напомните, какая там из дефолтных систем используется для прогнозирования?
В FMCG дефолтная система - это SSAS из Редмонда. Впрочем, она таки дефолтная и в целом в РФ, и даже не только в РФ.


Я не слышал, чтобы SSAS использовалась для прогнозирования, SAS и SPSS более популярны, хотя и они не дотягивают до дефолтного уровня. Судя по Вашему акценту, Вы говорите про проекты не в России, а в более южной стране ;)

Если кратко, то ИИ заменяет работу аналитиков/архитекторов
ИИ - это не Искусственный Интеллект, это Имитация Интеллекта.
Те, кто запрограммируют "ИИ" на работу вместо аналитиков/архитекторов, будут потом переделывать переучивать "ИИ" на нормальную работу еще долго и долго. Зарплата, рабочие места, "вот это всё" (с)
Так что пусть Юрий работает в этом направлении - всем ведь работы прибавится в конечном итоге.


Вот это разумно, когда машины восстают - начинать работать на них, а не стараться с дикой скоростью печатать код для ХД на клавиатуре (ИИ создает код с недосягаемой для ИТ специалиста производительностью).
Обучение ИИ не так трудоемко, и в текущем варианте базы знаний для ИИ уже создаются полноценные хранилища данных за несколько часов из нескольких баз-источников. Я думаю что рынок ХД будет постепенно переформатироваться, будет увеличиваться доля быстрых проектов по ХД с помощью ИИ, и аналитики с ИТ специалистами будут востребованы для других задач (например, осуществлять поддержку и мелкие доработки ХД, разрабатывать отчеты/дашборды в дефолтном BI, и т.п.).

2 LSV:

Если кратко, то ИИ заменяет работу аналитиков/архитекторов
Это все глубокая туфта.


Вы считаете, что машину нельзя обучить тому, что делают аналитики/архитекторы в проекте разработки ХД?
Даже шахматам недавно ИИ обучили, а шахматы сложнее, чем ХД ;)
14 дек 17, 10:06    [21032753]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
LSV
Member [заблокирован]

Откуда: Киев
Сообщений: 30818
автор
Вы считаете, что машину нельзя обучить тому, что делают аналитики/архитекторы в проекте разработки ХД?
Можно обучить тому, что они рутинно делают. Но это не ИИ.
Набор хороших отчетов сокращает кол-во аналитиков в 3 раза, которые ранее только тем и занимались, что из кучи отчетов днями лепили мутные эксельчики для руководства.
Извлечение из ХД какой-то новой аналитики ? Дык какой же это ИИ ? Это в сотый раз очередной отчет/дашборд.

зы: У нас даже должность есть "аналитик консолидированной информации". Хненачит из BI в эксельчики... :)
14 дек 17, 11:14    [21032963]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3060
2 LSV:

Вы считаете, что машину нельзя обучить тому, что делают аналитики/архитекторы в проекте разработки ХД?
Можно обучить тому, что они рутинно делают. Но это не ИИ.
Набор хороших отчетов сокращает кол-во аналитиков в 3 раза, которые ранее только тем и занимались, что из кучи отчетов днями лепили мутные эксельчики для руководства.
Извлечение из ХД какой-то новой аналитики ? Дык какой же это ИИ ? Это в сотый раз очередной отчет/дашборд.
зы: У нас даже должность есть "аналитик консолидированной информации". Хненачит из BI в эксельчики... :)


Вам приходилось разрабатывать ХД из нескольких источников данных?
Мы тут обсуждаем ИИ, который проектирует и формирует буферную область ХД, таблицы справочников и фактов, аналитические витрины данных, создает процедуры загрузки, трансформации, агрегации, обогащения данных, геокодирование, и т.п. А Вы говорите про готовое ХД, про то что делают отчеты, выгружают их в MS Excel...
14 дек 17, 11:52    [21033091]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
vikkiv
Member

Откуда: London
Сообщений: 1704
Опять пошли мухи с котлетами,

Andy_Olap намекает что ИИ человечество пока не придумало (в практическом плане), т.е. его не существует кроме как в форме маркетингового термина (и когда кто-то говорит что применяет ИИ - ну тут уже без комментариев..) несмотря на то что разговоры об этом идут десятилетия, есть модели с некоторой гибкостью параметры которых "обучаются" (в примитивном понятии уровня средней школы - найти коэффициент{ы} регрессии).
Так что тут скорее речь об алгоритмах со специфичной логикой в области ХД а не ИИ (что по факту всё ещё научная фантастика)

Функционально задачи аналитиков тоже несколько другие - они скорее пользователи отчётов (создатели их в основном для себя, т.е. конечная стадия подготовки данных для анализа), аналитик (тавтология) анализирует/исследует, делает выводы, идентифицирует формы/типы, занимается классификацией, часто собственно принимает и передаёт решения (в крупных организациях воплощаемые другими)
Единственная отчётная функция аналитика - форматирование выводов/результатов анализа - но это не настолько крупная функция в общем объёме и кроме того - довольно динамичная (каждый отчёт другой по форме), т.е. тут важна удобность платформы.

П.С. В SSAS есть как математическое фукции (напр. регрессии, корелляции) так и отдельная специализированная функциональность через DMX - оба варианта (вместе и каждый в отдельности) в моей профессиональной практике применялись для прогнозирования в том числе. (хотя сейчас MS предложило как отдельную облачную платформу для ML {даже с прямыми Web-Интерфейсами в Excel и пр. локальными приложениями через API} так и встроенную в SQL DB функциональность R - вот туда понемногу и переход ожидается в ближайшее время).
14 дек 17, 12:23    [21033219]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1999
vikkiv
человечество пока не придумало (в практическом плане), т.е. его не существует кроме как в форме маркетингового термина ...


ну новости это года, меня лично впечатлили:
"За 4 часа игры сама с собой нейронная сеть AlphaZero, получив на входе только правила, превзошла в шахматах не только людей и их полторы тысячи лет опыта, но и все существующие компьютерные программы, в том числе сильнейший Stockfish"
https://science.d3.ru/neironnaia-set-alphazero-okonchatelno-dobila-shakhmaty-1501320/?sorting=rating
14 дек 17, 12:31    [21033255]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
vikkiv
Member

Откуда: London
Сообщений: 1704
StarikNavy,

может я как не специалист что-то путаю но NN является обучаемым (или как у нас называют тренируемым) алгоритмом (пошаговый набор инструкций) а не ИИ (как конструировать алгоритмы).
14 дек 17, 13:04    [21033389]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
vikkiv
Member

Откуда: London
Сообщений: 1704
..хоть и в NN в некотором роде есть такие элементы
14 дек 17, 13:06    [21033394]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2750
vikkiv,

Я в целом согласен с Игорем Ашмановым. Когда он разделяет ИИ на голливудский и технический, ссылка на его выступление в Сколково в марте 2015-го.

Еще он рассуждает, что А есть понимание искусственного интеллекта у тех, кто этим занимается профессионально. Во-первых, этот термин неправильно переведён Artificial intelligence – в переводе означает “искусственное понимание”.

Ну и замечательная цитата про то, что люди сами то до конца не понимают, как они мыслят, и что вообще такой интеллект. Существует серьёзная проблема, заключающаяся в том, что человечество не смогло ни в науке, ни в философии определить понятие "осознавать". Мы про себя не знаем, как достоверно установить, что мы себя осознаём, и что это значит. То есть теории интеллекта по-настоящему не существует. Так же как осознания и понимания.
18 дек 17, 21:03    [21043855]     Ответить | Цитировать Сообщить модератору
 Re: Тёмные данные  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2750
vikkiv
Функционально задачи аналитиков тоже несколько другие - они скорее пользователи отчётов (создатели их в основном для себя, т.е. конечная стадия подготовки данных для анализа), аналитик (тавтология) анализирует/исследует, делает выводы, идентифицирует формы/типы, занимается классификацией, часто собственно принимает и передаёт решения (в крупных организациях воплощаемые другими)
Единственная отчётная функция аналитика - форматирование выводов/результатов анализа - но это не настолько крупная функция в общем объёме и кроме того - довольно динамичная (каждый отчёт другой по форме), т.е. тут важна удобность платформы.

Я вообще думаю, что Юрий таки поможет допилить некий "ИИ", который на платформе Cognos BI будет собирать некие хранилища для неких аналитиков. И даже завалит их сотнями и тысячами отчетов.
Но тут есть два "но".
1. Аналитики утонут в этом потоке информации, потому что сначала они определяют, что анализировать собираются, а потом уже под это дело отчеты собирают.
2. Они будут анализировать не то. Собирать копейку к копейке на анализе out-off-stock, когда условно можно продавить одного поставщика по ценам закупки - и получить на десятки и сотни рублей вместо копеек.
18 дек 17, 21:06    [21043861]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить