Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Azure ML  [new]
IDVT
Member

Откуда:
Сообщений: 249
Всем привет.

Подскажите как жить дальше.... Решил поиграться с модным Azure ML:
1. Создал простой эксперимент - прогнозирования продаж.
2. Для машинного обучения использовал алгоритм "Классификация и регрессия (decision forest regression)", на вход подал выборку по магазинам с ежедневными продажами за 2016 и 2017 год.
3. Получил некий прогноз, плевать на точность.

Затем на основе "Эксперимента" создал веб службу, теперь пытаюсь подать данные для прогноза на 2018 год, не зависимо от дня в разрезе каждого магазина я получаю одну и ту же цифру, но если подать данные в пределах обучающего периода (2016 и 2017 год), то цифра варьируется. Как использовать алгоритм обученной модели для прогноза, т.е. для выборки вне обучающем периоде? Что- то еще нужно сделать? С Классификацией гораздо проще....

Гугл молчит, а спрашивать больше не у кого.... Выручайте пожалуйста!!! за ранее всем спасибо, за любые подсказки.
18 сен 18, 16:43    [21678403]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 980
Накатайте тикет в azure support. И на stack overflow с тэгом Azure ML.
18 сен 18, 20:44    [21678741]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2078
в телеге можешь попробовать спросить @bigdata_ru

тут хер поймешь даже в каком разделе про МЛ спрашивать
18 сен 18, 22:41    [21678841]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
vikkiv
Member

Откуда: London
Сообщений: 1649
никаких проблем со стороны MS/Azure-ML очевидно нет, трабл явно на стороне пользователя.

в общих чертах: зависит от типа данных и алгоритма, если год это дискретный классификатор/флаг (типа {пол, образование, город} то вполне возможно что для значения выходящего за пределы выдаёт постоянную величину (средняя статистика оценки модели), некоторые модели при пропуске ставят ноль, а некоторые показывают сценарий тренированной модели как будто тренировали без этой переменной (только с другими, например ввод: v,w,x,y выход: z , если подать только v,w то посчитает как будто при тренировке колонн x,y и не было в метаданных вообще) или смешивают всё вместе, так-же зависит от того что модель делает с пропусками/пустыми значениями в исходных данных (есть отдельный блок предварительной под/за-мены и чистки данных)

так-же возможно чувствительность по году высокая, а по остальным параметрам низкая - поэтому меняя другие вводные параметры при постоянном годе (ноль) - изменения результата просто не заметно (но это не для Decision Tree, для DT альтернативные ноды могут быть довольно схожи)

по некоторым моделям можешь вытащить параметры тренированной модели (Experiments - your_experiment -> Train_Model -> Trained_Model -> Visualize) из начального эксперимента (если он тренирован) и там оценить на сколько твои переменные влияют на результат.
для твоей модели там будет несколько отдельных стволов с визуализацией ветвей (от preview-иконок до детализации)
найди свой случай который как тебе кажется выпадает - и отслеживай что в дереве не нравится.
(конкретнее: найди условие/ветвь куда попадает твой год, вполне вероятно что его в ветвях дерева вообще нет, поэтому выдаёт результат основы дерева, если помню верно то на SSAS-MD - Adventure Works тоже самое было)

Кстати конкретно для временных рядов (а ты по времени оценку продаж делаешь, причём данных целых два цикла под сезонность, может почти хватить для ARIMA и уж точно достаточно для ARTXP) там по умолчанию Drag-n-Drop нормальных моделей нет (Линейными регрессиями {DT в некотором роде тоже можно к линейной отнести} и всякими Smoothing это тоже сомнительное занятие) - на эту тему нужно будет в их R или Python скриптовые модули лезть (соответственно потом шаманить с визуализацией параметров модели).

Web-UI у них если честно не очень по удобности/скорости, когда это дело было из SSMS на SSAS - по нодам деревьев ползать намного проще и быстрее было.
19 сен 18, 04:49    [21678913]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
vikkiv
Member

Откуда: London
Сообщений: 1649
так-же у них есть под это дело специализированный форум - Azure ML
19 сен 18, 04:53    [21678915]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
IDVT
Member

Откуда:
Сообщений: 249
Всем огромное спасибо за информацию. Переделал все на Arima и ETS (с сезонностью), прогноз более точен, и все работает корректно.
19 сен 18, 15:28    [21679701]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
L_argo
Member

Откуда:
Сообщений: 324
офф: все эти прогнозы продаж - глубокая туфта.
Влияет масса факторов, о которых МЛ знать не может.
Например изменение законов, новые налоги/сборы, рекламные акции, хайп вокруг ч-л и даже погода.

Более-менее хорошо прогнозируется только продажа хлеба. И то с оговорками.
20 сен 18, 11:37    [21680543]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3054
2 L_argo:

офф: все эти прогнозы продаж - глубокая туфта.
Влияет масса факторов, о которых МЛ знать не может.
Например изменение законов, новые налоги/сборы, рекламные акции, хайп вокруг ч-л и даже погода.
Более-менее хорошо прогнозируется только продажа хлеба. И то с оговорками.


Лучше дать задачу Исину и получить прогноз, чем нанять много сотрудников, которые будут прогнозировать вручную.
А если прогноз не сформировать, то сложно будет планировать закупки и производство.
20 сен 18, 11:52    [21680577]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
IDVT
Member

Откуда:
Сообщений: 249
L_argo
офф: все эти прогнозы продаж - глубокая туфта.
Влияет масса факторов, о которых МЛ знать не может.
Например изменение законов, новые налоги/сборы, рекламные акции, хайп вокруг ч-л и даже погода.

Более-менее хорошо прогнозируется только продажа хлеба. И то с оговорками.


А сотрудники лучше прогнозируют? им известны эти данные, которые недоступны ML?
20 сен 18, 15:35    [21680954]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 738
L_argo
офф: все эти прогнозы продаж - глубокая туфта.
Влияет масса факторов, о которых МЛ знать не может.
Например изменение законов, новые налоги/сборы, рекламные акции, хайп вокруг ч-л и даже погода.

Более-менее хорошо прогнозируется только продажа хлеба. И то с оговорками.


Вы путаете цели.

Если есть статистика продаж за много лет и много филиалов, то можно например ставить цели на определенные сезоны продажникам, планировать поставки на склады, закупки и т.п. Если у вас пять человек в отделе продаж, автоматизировать это глупо. Если у вас 200-1000 филиалов, то уж лучше получить эту рутину системе. ML только один из алгоритмов. Раньше просто регрессию строили и не парились.

Цели предсказать поведение рынка у таких прогнозов нет.
20 сен 18, 16:07    [21681000]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
L_argo
Member

Откуда:
Сообщений: 324
IDVT
L_argo
офф: все эти прогнозы продаж - глубокая туфта.
Влияет масса факторов, о которых МЛ знать не может.
Например изменение законов, новые налоги/сборы, рекламные акции, хайп вокруг ч-л и даже погода.

Более-менее хорошо прогнозируется только продажа хлеба. И то с оговорками.


А сотрудники лучше прогнозируют? им известны эти данные, которые недоступны ML?
Что-то конечно известно.
Они могут знать с чем связаны те или иные всплески/провалы в продажах.
Н-р всплеск может быть связан с прогоном рекламы по ТВ.
Или открытием нового большого маркета.
Или уходом с рынка главного конкурента.
Или угрозой подорожания (кинулись скупать накануне ожидаемого скачка цен).
И много чего другого.

Что из этого видит МЛ имея только статистику продаж ? Ничего.

Ничего кроме дикого хайпа вокруг МЛ.
20 сен 18, 16:12    [21681018]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 738
L_argo
IDVT
пропущено...


А сотрудники лучше прогнозируют? им известны эти данные, которые недоступны ML?
Что-то конечно известно.
Они могут знать с чем связаны те или иные всплески/провалы в продажах.
Н-р всплеск может быть связан с прогоном рекламы по ТВ.
Или открытием нового большого маркета.
Или уходом с рынка главного конкурента.
Или угрозой подорожания (кинулись скупать накануне ожидаемого скачка цен).
И много чего другого.

Что из этого видит МЛ имея только статистику продаж ? Ничего.

Ничего кроме дикого хайпа вокруг МЛ.


При чем тут хайп? Для прогноза продаж сойдет почти любой алгоритм, это же не распознование лиц. Ну используют сложные алгоритмы сейчас, точность особо не повышается, но и стоимость реализации не отличается от обычной регрессии.

Еще раз, вы путаете прогноз продаж с тенденциями на рынке.
20 сен 18, 17:31    [21681206]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
IDVT
Member

Откуда:
Сообщений: 249
tarrus,
Я Вас понял, действительно все в один котел смешал....
21 сен 18, 12:37    [21681876]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
L_argo
Member

Откуда:
Сообщений: 324
tarrus
Еще раз, вы путаете прогноз продаж с тенденциями на рынке.
Прогноз имеет непосредственное отношение к тенденциям на рынке. Как в прошлых периодах так и в будущих.
Иначе какой смысл кривого прогноза ?
Просто лишь бы был ?
21 сен 18, 16:47    [21682210]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 738
L_argo
tarrus
Еще раз, вы путаете прогноз продаж с тенденциями на рынке.
Прогноз имеет непосредственное отношение к тенденциям на рынке. Как в прошлых периодах так и в будущих.
Иначе какой смысл кривого прогноза ?
Просто лишь бы был ?


Неужели я так плохо объясняю? Или вы троллите?

Пример из пальца: У вас сеть 20 магазинов и номенклатура из 1000 наименований в каждом.

Задача: Поддерживать остатки на складах в количестве, достаточном для наличия товара до следующего завоза. В наличии у вас есть статистика чеков за последние 5 лет. Товар завозят каждые две недели. Точность плюс минус 15%.
21 сен 18, 17:47    [21682250]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
L_argo
Member

Откуда:
Сообщений: 324
tarrus
Неужели я так плохо объясняю? Или вы троллите?

Пример из пальца: У вас сеть 20 магазинов и номенклатура из 1000 наименований в каждом.

Задача: Поддерживать остатки на складах в количестве, достаточном для наличия товара до следующего завоза. В наличии у вас есть статистика чеков за последние 5 лет. Товар завозят каждые две недели. Точность плюс минус 15%.
Представьте себе, я такую задачу решал. Правда для одного большого маркета.
Хорошо удавалось прогнозировать только ходовые позиции хлеба. Чуть хуже - товары из топ-20. Максимум до Топ-50.
В остальных случаях прогноз был не лучше, чем "высосано из пальца менеджера". Т.е. прогнозу поддаются только ок. 50 товаров из 50-60 тыс. активных артикулов.
Главная проблема - учет замен, т.е. продажа с учетом товаров-аналогов. Непостоянство ассортимента и смена поставщиков также сильно портят прогноз.
Подходы анализа для разных групп тоже отличаются.

Умники, которые носятся с МЛ плохо себе представляют, сколько факторов на сам деле влияют на прогноз и насколько многие из них не осязаемы для формализации.
23 сен 18, 20:39    [21683340]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
vikkiv
Member

Откуда: London
Сообщений: 1649
обоим экстремистам от тех кто с таким в жизни не сталкивался (но помнит с элементарных основ первого курса колледжа):

1) прогноз в большинстве случаев лучше чем его отсутствие (даёт хоть какой-то контроль, выбор политики, планирование ресурсов/действий, в т.ч. что нужно для достижения целевых результатов)

2) не забываем о статистической значимости прогноза, т.е. насколько он достоверно даёт оценку (тренировка/валидация модели, выбор типа, подбор параметров)
>> с выбором типа вообще отдельный вопрос - часто берут несколько функций {вписывающихся в здравый смысл характера процесса} и по оценке результата автоматом динамически выбирается наиболее подходящая модель, а иногда какое-то усреднённо-взвешенное значение из нескольких моделей

3) прогноз (многих моделей) не точное значение, а всего-лишь доверительный интервал (не говоря о том что всё равно надо приводить в упаковки/ящики/палеты, минимальный заказ и пр.)
{после получения доверительных интервалов идёт ещё целые уровни расчётов вероятностной оптимизации по балансовым моделям в зависимости от стоимости потерь если не хватило или если оказалось слишком много}

4) ввод/вывод новых/старых продуктов, дополняющие/замещающие продукты - проблема маркетинга и продукт-менеджеров, IT просто SKU связывает (если есть такая возможность)

и вообще - если у кого-то что-то не получается - скорее всего руки из ж%^& растут, проблемы есть - но на то это и прогноз, использование хоть какой-то фактической информации (вилами по воде - это скорее вообще на неё не опираясь).

прогнозы конечно точнее по группам а не самим товарам идут, для решения более точной гранулярности и разбивают по кластерам в зависимости от риска/волатильности/предсказуемости/стабильности/надёжности и пр. факторов. (разбивка по временным горизонтам, XYZ анализ в дополнении к классике ABC и т.д. {что по быстрому нагуглилось})

в конце концов в ежедневной деятельности обычно сезонность, вход/выход конкурентов на рынок, смена ценовой политики, изменение уровня цен, благосостояния, фазы экономического цикла, смены поставщика/самого продукта/логистических параметров, сдвиг приоритетов потребителей, законодательство, технологический прорыв, срыв поставок, маркетинговый цикл продукта, и множество прочих факторов - в модели не пихается, так-же обычно это не дело IT - а опять-же: продукт-менеджеров.

всюду математика и принципы одинаковы - степень упрощения от отрасли к отрасли меняется, но основы те-же: молоко-ли это в пятёрочке на ярославском или наступление страхового случая в группе клиентов или вероятность дефолта/задержек по кредиту у этого класса заёмщика.

так что (некоторые) умники которые носятся с ML как раз таки прекрасно понимают для чего это нужно, как классифицировать по группам (что отдавать людям а что на серверный поток) и что с этим делать чтобы хоть частично снять какаю-то долю нагрузки с людей и перекинуть на автоматизацию (не без хотя-бы формального контроля каких-нибудь менеджеров, которые всё равно-бы делали это у себя в Exceлях, просто их сейчас нужно не как раньше 50 человек с полным бардаком на складах а всего-лишь 5).

хотя конечно понятно некоторое разочарование и прочие опасение/неприятие/проблемы возникающие из за- того что у кого-то отбирают работу, лишают привычной зоны комфорта от 8-ми часового сидения в сотнях страниц Excel и самосознания "я босс и король критического элемента в цепи процесса" , и до непонимания/потери прозрачности и контроля (для анализа что-же там происходит на заднем плане) от нового уровня сложности из-за смены технологий (иногда это просто лень).
23 сен 18, 22:19    [21683396]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2502
tarrus
L_argo
пропущено...
Прогноз имеет непосредственное отношение к тенденциям на рынке. Как в прошлых периодах так и в будущих.
Иначе какой смысл кривого прогноза ?
Просто лишь бы был ?


Неужели я так плохо объясняю? Или вы троллите?

Пример из пальца: У вас сеть 20 магазинов и номенклатура из 1000 наименований в каждом.

Задача: Поддерживать остатки на складах в количестве, достаточном для наличия товара до следующего завоза. В наличии у вас есть статистика чеков за последние 5 лет. Товар завозят каждые две недели. Точность плюс минус 15%.

У Вас проблема - проседание остатков и нехватка прихода. А Вы пытаетесь к решению этой задачи прикрутить прогноз продаж.

Поясню. 1 января таки пришло 10 штук товара. 2 января продали 8 штук. 3 января списали в брак испорченные 3 штуки. 4-31 января покупатели магазина оставались без товара на полке и брали аналог (более дешевый, с маленькой наценкой, уменьшая прибыль магазина) или разворачивались и шли к конкурентам.

Вы строите прогноз. Прогноз показывает - продажи стабильные, из месяца в месяц 8 штук. И таки что? Вы собираетесь продавать 8 штук каждый месяц там, где могли бы при правильном и своевременном приходе товара от поставщика или с центрального склада продавать по 8 штук каждый день?

Для поддержания остатков на складе не нужен анализ чеков. Нужен подневный анализ остатков и вытекающий из него анализ дефектуры и out-of-stock. Понимаете, в чем цимес?
23 сен 18, 23:53    [21683428]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
ShIgor
Member

Откуда: Нижний Новгород
Сообщений: 2113
Andy_OLAP
Для поддержания остатков на складе не нужен анализ чеков. Нужен подневный анализ остатков и вытекающий из него анализ дефектуры и out-of-stock. Понимаете, в чем цимес?

Да вот не согласен. Я не могу снимать остатки только на конец дня. У нас 3-4 рейса на точку, которые формируются динамически от текущего состояния? а еще мне нужны почасовые остатки, а то и чаще, для формирования прогноза выполнения заказа конкретного клиента (срок, когда я могу товар отдать). поэтому приходится анализировать продажи в сочетании с остатками и планом прихода + куча других факторов.
24 сен 18, 09:55    [21683576]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 738
ShIgor
Andy_OLAP
Для поддержания остатков на складе не нужен анализ чеков. Нужен подневный анализ остатков и вытекающий из него анализ дефектуры и out-of-stock. Понимаете, в чем цимес?

Да вот не согласен. Я не могу снимать остатки только на конец дня. У нас 3-4 рейса на точку, которые формируются динамически от текущего состояния? а еще мне нужны почасовые остатки, а то и чаще, для формирования прогноза выполнения заказа конкретного клиента (срок, когда я могу товар отдать). поэтому приходится анализировать продажи в сочетании с остатками и планом прихода + куча других факторов.


Согласен. Чеки нужны. Но я придумал задачу только для иллюстрации, а не точности ради.

vikkiv абсолютно прав - отсутствие прогноза жухе чем его наличие. остальное уже тонкости и детали.

Задача поддержания остатков комплексная. Мы её в паре абзацев не решим для всех случаев. Нехватка прихода только часть проблемы, переизбыток наличия тоже плохо. Например в Москве каждый квадратный метр склада не считают, можно привозить с запасом. В Европе площади очень дорогие и помещения маленькие, поэтому стараются не захламлять склад и не возить товар туда-сюда. Но это всё уже мелочи.

Главное это, что прогноз дело полезное, а за предсказаниями по рынку пусть маркетолоки к гадалкам ходят.
24 сен 18, 10:32    [21683620]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 738
L_argo
Умники, которые носятся с МЛ плохо себе представляют, сколько факторов на сам деле влияют на прогноз и насколько многие из них не осязаемы для формализации.


Вы плохо думаете о статистиках, они всё знают и всё понимают и постоянно работают над повышением точности прогноза. ML - просто инструмент. Если он походит для задачи, почему его не использовать? Если данных мало и ML не может построить достоверный прогноз, то бизнес будет "высасывать его из пальца". Где противоречие?

Т.е. если можно автоматизировать что-то, то почему это не сделать? Особенно за недорого.
24 сен 18, 10:36    [21683623]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 738
vikkiv
хотя конечно понятно некоторое разочарование и прочие опасение/неприятие/проблемы возникающие из за- того что у кого-то отбирают работу, лишают привычной зоны комфорта от 8-ми часового сидения в сотнях страниц Excel и самосознания "я босс и король критического элемента в цепи процесса" , и до непонимания/потери прозрачности и контроля (для анализа что-же там происходит на заднем плане) от нового уровня сложности из-за смены технологий (иногда это просто лень).


В точку!
24 сен 18, 10:49    [21683631]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
L_argo
Member

Откуда:
Сообщений: 324
Т.е. если можно автоматизировать что-то, то почему это не сделать?
Это будет автоматизация ? Или все таки иллюзия таковой ?
Чудес не бывает. В реале трудно представить, что кто-то будет вносить в модель всю эту подробную (см. выше) инфу.
А без этой инфы точность модели нулевая.
Хороший категорийный менеджер и так знает, что ему заказывать. :)
Кто-то хочет его заменить машиной ? ОК. Но в итоге выйдет дороже. Ошибки будут дорогими, а крайних при этом не будет.
24 сен 18, 14:54    [21684127]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
ShIgor
Member

Откуда: Нижний Новгород
Сообщений: 2113
L_argo,

нет необходимости заменять. есть необходимость помочь
24 сен 18, 15:48    [21684233]     Ответить | Цитировать Сообщить модератору
 Re: Azure ML  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 2502
ShIgor
Andy_OLAP
Для поддержания остатков на складе не нужен анализ чеков. Нужен подневный анализ остатков и вытекающий из него анализ дефектуры и out-of-stock. Понимаете, в чем цимес?

Да вот не согласен. Я не могу снимать остатки только на конец дня. У нас 3-4 рейса на точку, которые формируются динамически от текущего состояния? а еще мне нужны почасовые остатки, а то и чаще, для формирования прогноза выполнения заказа конкретного клиента (срок, когда я могу товар отдать). поэтому приходится анализировать продажи в сочетании с остатками и планом прихода + куча других факторов.

Так как можно планировать остатки по чекам? Когда нужны еще резервы на уже оформленные заказы конкретного клиента. Если нет истории резервов - и соответственно истории остатков с учетами зарезервированного товара - то чеки помогут. Но не очень.

Чеки позволяют исследовать факторы внезапного увеличения или падения числа покупателей и думать, в чем была причина и как таки дальше такого избежать. Хотя бы потому, что в чеках есть кросс-анализ, что с чем продается, если какие-то комбинации вызвали ажиотаж, а потом "опорный" товар закончился и продажи рухнули - тогда это полезная информация. Если нет - это скорее попытка предугадать будущее по прошлому, которое уже никогда не повторится. Ну впрочем не обращайте внимание, это такое стариковское ворчание, Вы молоды, энергичны, Вам и строить новые модели почасовых остатков :)
24 сен 18, 19:37    [21684548]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить