Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Разработка информационных систем Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4 5 6 7 8 9   вперед  Ctrl      все
 Затраты на создание DWH  [new]
Ильяzzzz
Member

Откуда:
Сообщений: 10
Вечер добрый.

Хотелось бы услышать мнение людей, имеющих опыт реализации DWH.

Ситуация - есть мелкий/средний игрок (что то пограничное) на рынке складской логистики, который хочет наращивать свой оборот (в процессе покупка одного из логистических операторов).
Исходя из целей компании, без централизованной аналитики они практически не достижимы.
Я-аналитик, т.е. больше пользователь DWH, но никак не разработчик (в полном смысле этого слова).
Он (разработчик) может появиться только после того, когда мы "продадим" идею создания DWH руководству.
Для этого необходимо, помимо указания наших выгод от внедрения данной истории (эта часть понятна), отразить затратную часть вопроса (аппаратное и программное обеспечение).
Инфа на просторах интернета прям скудная, а точнее, практически нет.
Вводных у меня тож мало, т.к. часть бизнеса живет в эксель (перевозки) + склад (в WMS) но тож не полностью + прилетит кусок с покупкой нового оператора (причем в несколько раз больше текущих мощностей).
Попросил IT дать инфу по обрабатываемому объему инфо в ИС (таблицы фактов), пока ничего конкретного =((
Если у кого то есть уже опыт внедрения DWH, поделитесь пжл инфой о необходимом софте и возможных затратах (коридор от до).
=)
7 май 19, 09:58    [21879634]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Ares_ekb
Member

Откуда: Екатеринбург
Сообщений: 1294
Ильяzzzz,

3 составляющие расходов:
1) Зарплата
2) Софт
3) Железо

1) это 100-250 т.р./мес. на руки. Сложно понять объем, но по идее один человек вполне может это потянуть. Он должен понимать как делать хранилища: слышал об Инмоне и Кимбалле (как по мне, лучше чтобы он слышал о 1-ом, чем о 2-ом), слышал о Data Vault, канонических моделях, нормализации данных (в т.ч. 5НФ и 6НФ) и т.п.


2) Есть бесплатные системы. Например, Pentaho, но как по мне это трата времени и экономить на софте нет никакого смысла. Используйте триальную или вылеченную версию. Если у вас ничего не получится (а такая вероятность есть), то вы ничего не потеряете. Начинать проект с покупки лицензии на софт абсурдно. Для этого и есть ознакомительные версии.

Вам нужна СУБД, куда будут собираться данные. Нужна ETL система для сбора данных. Нужна система для аналитики.
Если использовать стек Microsoft, то это соответственно: SQL Server, SSIS, SSAS. В качестве клиента для работы с кубами можно использовать Excel. Порядок стоимости лицензии от 100 т.р. до 10 млн. в зависимости от объёма данных, железа.

Сейчас очень много инструментов для аналитики. Что лучше использовать лучше уточнить в соседнем разделе, хотя мне кажется, что каждый будет предлагать то, с чем сам больше работал. Я, например, больше работал с SSAS, поэтому про него и пишу :) Исходя из инструмента, можно искать человека, который им владеет. Либо можно наоборот сначала найти разработчика, сделать с ним какой-то пилотный проект, в процессе уточнить требования и с этим опытом снова вернуться к выбору инструментов.


3) На начальном этапе лучше использовать железо, которое уже есть. Когда будет понятен объем данных, будут понятны требования, то может понадобиться отдельный сервак - от 100 т.р. до 500 т.р.


Лично я на вашем месте не пытался бы сделать сразу всю систему аналитики. Выбрал бы какой-то небольшой кусочек и если всё получится, то развивать дальше. Затраты при этом - это только зарплата разработчика. 1-3 месяца вполне достаточно для пилота.
7 май 19, 11:11    [21879706]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Ильяzzzz
Member

Откуда:
Сообщений: 10
1. ОК
2. приоритет - стек Microsoft. Триальная версия - хороший вариант.
3. Немного не понял что все-таки требуется (только сервак) и порядок цифр, если есть понимание пжл.
7 май 19, 11:57    [21879746]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Ares_ekb
Member

Откуда: Екатеринбург
Сообщений: 1294
Ильяzzzz,

2 - у Microsoft ещё есть Power BI. Там больший акцент на визуализации данных. Но если бы я делал, то всё-таки начал с SSAS.

3 - у вас уже наверняка есть какие-то серверы. Для пилотного проекта их будет вполне достаточно. Я бы не вкладывался в железо сразу. А в процессе уже будет видно достаточно ли этого и если не достаточно, то какой сервак нужен. Сейчас это невозможно оценить, нужно понимать какой объем данных, какая будет аналитика.
7 май 19, 12:05    [21879760]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
alex55555
Member

Откуда:
Сообщений: 2129
Ильяzzzz
Для этого необходимо, помимо указания наших выгод от внедрения данной истории (эта часть понятна), отразить затратную часть вопроса (аппаратное и программное обеспечение).

И отражать затратную часть, понятно, собрался автор темы? Ну-ну...

Ваши начальники должны найти соответствующего практика и оплатить ему работу по проектированию, которая завершается оценкой стоимости. А вот такие набросы про "я всё прекрасно отражу сам" я бы не рекомендовал слушать вашему начальству.
7 май 19, 12:19    [21879787]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
PsyMisha
Member

Откуда: другая столица
Сообщений: 262
Ares_ekb
слышал об Инмоне и Кимбалле (как по мне, лучше чтобы он слышал о 1-ом, чем о 2-ом


Кимбалла можно легко превратить в помойку, кучу фактов-справочников в невообразимых сочетаниях звезд-снежинок, согласен
Но имхо в быстро меняющихся бизнес-требованиях, скорости реализации, возможностям быстрого введения в эксплуатацию, и дальнейшего сопровождения - быстрого подключения новых справочников, сущностей итп - Кимбал выигрывает.
ИМХО - Инмон - это когда все требования невероятно оговорены и задокументированы, не будет впоследствии кросс-пересечений данных между отделами, и некий какой-то идеальный мир с единорогами/бабочками, который в этой стране по-ходу невозможен.

К тому же - вендоры РСУБД - та же Microsoft - делают низкоуровневые алгоритмы и оптимизации правильного и эффективного построения физических планов запросов, расчета кардинальности и прочего, когда понимает, что клиент хочет результирующий набор от запроса, построенного по снежинке - большие таблицы фактов, и относительно небольшие ненормализованные измерения, даже причем без явных внешних ключей от первого ко второму итп

Имхо Инмон с его нормализацией плохо тут применим, особенно в подвижном непредсказуемом российском ритейле
7 май 19, 13:37    [21879869]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Ильяzzzz
Member

Откуда:
Сообщений: 10
Ares_ekb,

2. Power BI - на нем и планировали остановиться, т.к. есть опыт работы с ним.
3. Наверно, это один из возможных вариантов (в начале пути).

Спасибо.
7 май 19, 13:47    [21879877]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
L_argo
Member

Откуда:
Сообщений: 852
Сейчас скажу крамольную мыслЮ:

по сабжу: важность насыщенной централизованной аналитики сильно преувеличена.

Крутая аналитика - штука дорогая. А какие проблемы она решает ?
Кратковременный Вау-эффект у руководства.
А что еще ? А практически ничего более ...

Главные проблемы бизнеса и так известны.
Основные способы исправления ситуации тоже всегда известны.
Не известны точные цифры. А зачем знать эту точную цифру ? :)
Может просто достаточно знать, что есть такая-то проблема ?
Кто сказал, что аналитика предоставит эту точную цифру ?
Точной будет только сумма затрат на получение этой самой аналитики. :)
Затраты и время гарантированы, а достижение полезности - нет.

Всякие тонкости и неоптимальности, незаметные без аналитики ?
1. Так уж они незаметны ?
2. И зачем их решать, если еще не решены более важные проблемы ? :)
3. Чем именно поможет сложная аналитика с учетом ее высокой стоимости ?

Мой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак.
Реальное положение вещей руководство знает и так. Чуть менее чем полностью.
7 май 19, 14:51    [21880001]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 211
L_argo
Мой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак.
Реальное положение вещей руководство знает и так. Чуть менее чем полностью.

бред в каждом слове. без полноценной исторической информации накопленной dwh ни в одном бизнесе ничего полезного не сделать. даже очень мелкому магазинчику придется хранить историю изменений заказов, т.к. статистика отгрузок показывает лишь только то что смогли отгрузить. а это уже и dwh и аналитика
7 май 19, 15:11    [21880045]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 831
L_argo
Сейчас скажу крамольную мыслЮ:

по сабжу: важность насыщенной централизованной аналитики сильно преувеличена.

Крутая аналитика - штука дорогая. А какие проблемы она решает ?
Кратковременный Вау-эффект у руководства.
А что еще ? А практически ничего более ...

Главные проблемы бизнеса и так известны.
Основные способы исправления ситуации тоже всегда известны.
Не известны точные цифры. А зачем знать эту точную цифру ? :)
Может просто достаточно знать, что есть такая-то проблема ?
Кто сказал, что аналитика предоставит эту точную цифру ?
Точной будет только сумма затрат на получение этой самой аналитики. :)
Затраты и время гарантированы, а достижение полезности - нет.

Всякие тонкости и неоптимальности, незаметные без аналитики ?
1. Так уж они незаметны ?
2. И зачем их решать, если еще не решены более важные проблемы ? :)
3. Чем именно поможет сложная аналитика с учетом ее высокой стоимости ?

Мой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак.
Реальное положение вещей руководство знает и так. Чуть менее чем полностью.


Немного преувеличено, но здравое зерно есть. Традиционные проекты DWH стоят дорого, а выхлопа небольшой. Power BI это легковесный аналог ДВХ только без извращений вроде persistent staging area и т.п., которые стоят дорого, а толку нет от них. В итоге сейчас можно показывать прототипы в PBI и потом усложнять по мере необходимости, но когда видят цену за усложнение, как правило желание усложнять пропадает.

Мода на академические хранилища уходит, больше акцент на решение конкретных задач в приложении к бизнес процессам.
7 май 19, 15:41    [21880090]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
s_ustinov
Member

Откуда: Munchen, DE
Сообщений: 2107
Ares_ekb
3 - у вас уже наверняка есть какие-то серверы. Для пилотного проекта их будет вполне достаточно. Я бы не вкладывался в железо сразу. А в процессе уже будет видно достаточно ли этого и если не достаточно, то какой сервак нужен. Сейчас это невозможно оценить, нужно понимать какой объем данных, какая будет аналитика.

Для начала модно в ажуре арендовать сервер с MS SQL Standard Edition (не ентерпрайз - он будет сильно дороже, и для небольших проектов ентерпрайз не сильно нужен). Или девелопмент едитион - он бесплатный, а у вас как раз разработка.
7 май 19, 16:17    [21880127]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
L_argo
Member

Откуда:
Сообщений: 852
H5N1
L_argo
Мой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак.
Реальное положение вещей руководство знает и так. Чуть менее чем полностью.

бред в каждом слове. без полноценной исторической информации накопленной dwh ни в одном бизнесе ничего полезного не сделать. даже очень мелкому магазинчику придется хранить историю изменений заказов, т.к. статистика отгрузок показывает лишь только то что смогли отгрузить. а это уже и dwh и аналитика
И кому нужна эта историческая информация ? :)
На что она влияет ?
Как влияет история заказов на текущий бизнес ?
Какие управляющие решения примет компания, основываясь на исторических данных ?

Не было никаких dwh еще 20лет назад. И как-то работали. В космос летали и плотины строили.
А тут вдруг херак и без dwh "ничего полезного не сделать" ?

Да нафиг он нужен dwh ?????? Куча разрабов, ПМов, манагеров, аналитиков, ИТ-начальников, админов и прочих пожирателей бюджета , времени и офисной площади.
Чем полезным они заняты ??? Вау-эффектами на совещаниях у руководства ???


Речь не о полном отсутствии учета как такового.
Обычно достаточно инфы, кто кому должен. :)
Ее можно вести в даже экселе.
Состояние заказов/оплат ведут менеджеры.
Первичка фиксируется в к-л учетке (обычно в 1С).

Никакого dwh и тем более навороченной отчетности разумеется нет. И как показывает жизнь, без нее можно обойтись.
Если чего вдруг внезапно нужно, ответ даст ведущий специалист.

Топик написан полустёбно. :)

Тем не менее суть его именно такая: реальная ценность бизнес-отчетности очень сильно преувеличена, т.к. целиком ориентирована на красивые графики на проекторе у директора, который через час забудет всё увиденное.
7 май 19, 16:47    [21880163]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 211
L_argo
Не было никаких dwh еще 20лет назад. И как-то работали. В космос летали и плотины строили.
А тут вдруг херак и без dwh "ничего полезного не сделать" ?

вы там на периферии совсем одичали. конкретно я вот только что смигрировал dwh с оракла на хадуп. тому dwh было те самые 20+ лет.

L_argo
Речь не о полном отсутствии учета как такового.
Обычно достаточно инфы, кто кому должен. :)
Ее можно вести в даже экселе.
Состояние заказов/оплат ведут менеджеры.
Первичка фиксируется в к-л учетке (обычно в 1С).

любому бизнесу нужна историческая информация. я вот другу помагаю с мелким магазинчиком. учет да, в 1с, а скока чего ему на следующие пол года с китая везти 1с не ответит ему. в 1с лишь сколько продано, а сколько клиенты хотели купить но не смогли т.к. полугодовой запас за неделю был распродан он и не ведует. без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.
суть dwh в истории. в учетной системе нет истории.
7 май 19, 17:49    [21880220]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
МодальноеОкно
Member

Откуда:
Сообщений: 2045
H5N1
учет да, в 1с, а скока чего ему на следующие пол года с китая везти 1с не ответит ему. в 1с лишь сколько продано, а сколько клиенты хотели купить но не смогли т.к. полугодовой запас за неделю был распродан он и не ведует. без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды


эм... а кто мешает вести заказы покупателей в 1с?


H5N1
а сколько клиенты хотели купить но не смогли т.к. полугодовой запас за неделю был распродан он и не ведует.


ларьки открыли для себя понятие дефектура и начали вокруг этого городить какие-то адские хранилища?
7 май 19, 17:52    [21880223]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
МодальноеОкно
Member

Откуда:
Сообщений: 2045
H5N1
а скока чего ему на следующие пол года с китая везти 1с не ответит ему


наша например отвечала. 15 лет назад еще...

очередные инфоцыгане разводят доверчивых дятлов... продают "расчет потребностей" как рокет саенс и манну небесную Картинка с другого сайта.
7 май 19, 17:56    [21880229]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
L_argo
Member

Откуда:
Сообщений: 852
без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.
Не от балды, а от менеджерской интуиции.
Завозить товар приходится еще до появления его в системе. Тут ни одна система не поможет.
История дольше полугода мало кого интересует.
И товар поменялся и бренды и цены и рынок.
Настроить систему на надежную работу с такой неполной инфой - трудновыполнимая задача. Особенно по бюджету. :)
Проще это поручить человеку.
7 май 19, 18:00    [21880237]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
МодальноеОкно
Member

Откуда:
Сообщений: 2045
L_argo
без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.
Не от балды, а от менеджерской интуиции.
Завозить товар приходится еще до появления его в системе. Тут ни одна система не поможет.
История дольше полугода мало кого интересует.
И товар поменялся и бренды и цены и рынок.
Настроить систему на надежную работу с такой неполной инфой - трудновыполнимая задача. Особенно по бюджету. :)
Проще это поручить человеку.


лажа какая...
7 май 19, 18:02    [21880239]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
s_ustinov
Member

Откуда: Munchen, DE
Сообщений: 2107
L_argo
без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.
Не от балды, а от менеджерской интуиции.
Завозить товар приходится еще до появления его в системе. Тут ни одна система не поможет.
История дольше полугода мало кого интересует.
И товар поменялся и бренды и цены и рынок.
Настроить систему на надежную работу с такой неполной инфой - трудновыполнимая задача. Особенно по бюджету. :)
Проще это поручить человеку.


Я, кстати, видел результаты работы "на интуиции".
Особенно смешно, когда товаров на складе от 5000 (позиций, а не штук) и в каталоге десятки - сотни тысяч. Правда, обычно такие "интуитивные" фирмы довольно быстро разоряются... Хотя, казалось - с чего бы это? Ну разве что интуиция хреновая.
7 май 19, 18:09    [21880255]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
L_argo
Member

Откуда:
Сообщений: 852
s_ustinov

Я, кстати, видел результаты работы "на интуиции".
Особенно смешно, когда товаров на складе от 5000 (позиций, а не штук) и в каталоге десятки - сотни тысяч. Правда, обычно такие "интуитивные" фирмы довольно быстро разоряются... Хотя, казалось - с чего бы это? Ну разве что интуиция хреновая.
А что тут смешного ? Разорение компании и наличие/отсутствие дорогой ИТ-системы - вещи несвязанные. Совсем.
Есть масса примеров, где все наоборот: внедрили дорогущую систему и разорились в прах.
Простейший пример: ФоксМейер + SAP.
Наверно тут не интуиция, а автоматизация хреновая, да ? У лидера рынка. Ога...

Мне такие примеры тоже известны. Как никак, невольно участвовал и в таких проектах. :)

зы: Увы, ИТ часто напоминает астрологию и гомеопатию.
Прибыльный бизнес на пустом хайпе. Причем очень успешно и не одну сотню лет.
7 май 19, 23:14    [21880444]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31998
Блог
Ильяzzzz,

Раз у вас мелко-среднее предприятие, то затратами на железо можно пренебречь, будел где-то 2-3 миллиона лет на 6.
Еще миллиона 3 уйдет на лицензии, если будет MSSQL. Эти затраты можно растянуть года на 2 (первые пару лет объявить разработку тестовой).
Основные затраты будут по зп, это два-три сотрудника. Если в Москве, то:
- архитектор от 250 тыр на руки
- разработчик около 160-170 тыр
- опциональный студент-стажер около 50 тыр (для всякой мелочи и про запас, чтобы заменить разработчика, когда он свалит)
Если в регионах, то найти кого-то с опытом будет затруднительно.
Сейчас айтишники привыкли к белым зп, поэтому если все серенькое или офис в какой-нибудь деревне (где склады), то появятся трудности с наймом.

Плюс стандартные для компании затраты по рабочим местам (комп, телефон и тд)
7 май 19, 23:40    [21880450]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
bideveloper
Member

Откуда:
Сообщений: 412
Ильяzzzz,

А у покупаемого логистического оператора нет аналитики?
Power BI это хорошо, тем более что Power Desktop бесплатен, а сервис можно опробовать в облаке на небольшом числе пользователей без затрат на оборудование. Нужно только понимать, что это скорее инструмент не для создания DWH, а для построения отчетов/визуализаций для уже готового DWH.
8 май 19, 00:42    [21880470]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31998
Блог
И еще нужно учитывать, что облака внезапно могут отрубиться )
8 май 19, 01:20    [21880492]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
mad_nazgul
Member

Откуда:
Сообщений: 4706
Ильяzzzz,

DWH сейчас не модно, сейчас модно BigData с Data Lake-ми в облаках.

А так для начала определитесь откуда будут RAW-данные.
Есть подозрение, что из 1С.
Если это так, то стоит посмотреть в сторону 1С-ков, для того чтобы вам сделали аналитику.
Благо в 1С для этого почти все есть.

Если, нет, то смотреть в сторону OLAP, для соответствующих БД (Oracle или SQL server)
И под сервера OLAP подбирать железо и вакансии.
8 май 19, 08:03    [21880601]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Ильяzzzz
Member

Откуда:
Сообщений: 10
Критик,

да, пообщались по железу с ребятами из IT.
Говорят, что есть свободные "ресурсы", которые можно задействовать для этой истории, на первое время точно.
"Мелко-среднее предприятие" - я имел ввиду с точки зрения рынка РФ. Я просто изначально не сказал, что компания международная (изначально). Поэтому все в белую, Москва.
8 май 19, 09:31    [21880650]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Ильяzzzz
Member

Откуда:
Сообщений: 10
bideveloper,

А у покупаемого логистического оператора нет аналитики?
Power BI это хорошо, тем более что Power Desktop бесплатен, а сервис можно опробовать в облаке на небольшом числе пользователей без затрат на оборудование. Нужно только понимать, что это скорее инструмент не для создания DWH, а для построения отчетов/визуализаций для уже готового DWH.

Проблема в том, что до конца не понятно на каком операторе остановимся))
8 май 19, 09:36    [21880653]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4 5 6 7 8 9   вперед  Ctrl      все
Все форумы / Разработка информационных систем Ответить