Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
 DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
С удивлением обнаружил, что поиск по форуму olap/dwh строки DWA возвращает 0 результатов )))
Надо испрвалять ситуацию ))

DWA DWA DWA ))

Вообще удивляет, что многие так усердно "пилят" велосипеды DWH с нуля в то время как на западе (+ Австралия почему-то очень активна в этом) на серьезных проектах довольно популярны Data Warehouse Automation средства.

Что это такое и текущие средства на рынке неплохо описаны здесь:
https://www.datawarehouseautomation.guide/what-is-datawarehouse-automation

На западе тоже немало напиленных вручую dwh и в этом черты совпадают - обычно на таких проектах очень смутная документация, которая довольна сильно устарела и у меня есть подозрение что в этом и смысл )))) - это позволяет выделять бюджеты на сравнимые по непрозрачности работы )))

На текущий момент dwa нацелены на Data Vault и некоторые новые средства даже не имеют возможности создавать обычные хранилища. Есть opensource решения. Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.

Есть идеи кроме особенностей классических российских продаж почему у нас не слышно об этом? )))

sergeyavdovin.ru
27 авг 18, 21:32    [21655503]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Evolex_,

Во, уже лучше - поиск по dwa возвращает что-то теперь )))
27 авг 18, 21:35    [21655511]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
bideveloper
Member

Откуда:
Сообщений: 343
Интересная тема.
Предположу, что у нас в 90% случаях используются обычные хранилища.
А в них 80% работы это прописать, как из stage таблиц получить таблицы измерений и фактов. А это все равно вручную прописывать, автоматика же сама не определит, например, что именно является номенклатурой и из каких таблиц ее собирать.
27 авг 18, 23:28    [21655588]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2044
Evolex_
Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.

А алгоритм преобразования из источника в приёмник откуда берётся?
27 авг 18, 23:41    [21655590]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Один из основных плюсов в том что это не велосипед без документации а продукт с документацией и поддержкой ))) - пользуйтесь )))) поиск ответов на первые вопросы можно начать с просмотра видео )))

https://www.youtube.com/channel/UCheAIMVZCMh7e62ROp_nWlg

И даже курс есть )))

https://www.dimodelo.com/courses/develop-data-warehouse-dimodelo-architect-depth-course/

Я не агитирую за конкретно этих ребят, у меня к ним свои вопросы есть, но когда начинал заниматься темой у них единственных оказался почти немедленно доступный дистрибутив и большая часть функционала доступна через GUI в Visual Studio (у других через командную строку или отдельные приложения) ))))
28 авг 18, 00:08    [21655598]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Одна из самых прикольных картинок работы этого средства - выбор технологии для трансформации и загрузки данных после извлечения )))))) генерируются либо SSIS либо SQL (для 2017 SSIS не работают вроде - только стейджинг, сам пробовал только SQL)

К сообщению приложен файл. Размер - 16Kb
28 авг 18, 00:14    [21655601]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Да, кстати, это для многих, как я понимаю, может быть сюрпризом - что SSIS, вероятно, не лучшее средство для трансформаций и загрузки в DWH ))))) хотя, некоторые, вообще питоном трансформации SQL->SQL делают ))))))))))

Детали про трансформации я тут описывал в документации к POC ))))
http://sergeyavdovin.com/contents/resume/AdventureWorksDWHandReportingSolutionHROverview.pdf

P.S. На текущий момент работу не ищу - мне интересно обсудить ))))

К сообщению приложен файл. Размер - 141Kb
28 авг 18, 00:26    [21655603]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2044
Посмотрел первое видео. В части ЕТЛь - также, как и в других етль средствах, рисуешь часть руками, часть прописываешь запросами. Как этот плагин для VS может конкурировать с промышленными лидерами ETL - непонятно. Для Австралии или Вроцлава, наверное, ок.

В России автоматизация вполне есть. Она либо пишется инхаус, либо предлагается в виде полукоробок\коробок интеграторами.

В сбере, например, аналитик пишет маппинг в определенном формате в экселе. Потом по этому экселю автоматически генерится весь код, все слои, метаданные. И всё. Никаких гуев и лишних действий с плагинами. Так делается и в других компаниях.
28 авг 18, 00:30    [21655604]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2044
Бумбараш
Никаких гуев

и разработчиков
(почти)
28 авг 18, 00:33    [21655607]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
vikkiv
Member

Откуда: London
Сообщений: 1577
немного ожидаемого и банального скептицизма:

кейсы внедрения нужны (не подкрученные), например при наличии чёткого задания объективное время разработки полного ETL для DWH из Dynamics AX крупной компании под отчётность стандартно/в ручную, и сторонним средством на сырой поляне (хотя если будет подготовлено самим производителем - то ясно в чью пользу результаты показывать будут, да и "независимые" тоже обычно на поводке)

а то как показывает практика - время затраченное на освоение всяких сторонних свистулек средств а потом на его использование/поддержку обычно превышает default решение (на которое между прочим толковых и доступных специалистов на рынке труда - толпы), только вот потери на освоение уже не вернуть, да и сотни часов навыков которые никому не продашь - тоже идут в топку, ещё частое явление: эти паразиты подсадят на какую нибудь невероятную тузлу наивного менагера - а потом начинается закручивание гаек (ну или сами канут в бездну по другим причинам), хотя на самом деле есть толковые продукты - но риски слишком велики чтобы подписываться, ну разве что простота входа/выхода есть, тогда пилотом вполне можно в экспериментальных целях пробовать.
28 авг 18, 00:35    [21655609]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Бумбараш,

Не надо гнать на Вроцлав и Австралию, и в Вроцлаве и в Австралии все хорошо и компании крупные есть ))))) надо пробовать информацию искать ))))))

Ну понятно же что по всему миру DWA используются и посикать можно
https://www.wherescape.com/customers/
я вот такие заявления и называю "особенностями Российских продаж"
28 авг 18, 00:44    [21655610]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
vikkiv,

Наскольбко я понял сравниваются инвестиции в свою собственную разработку и в DWA на рынке.

1. В рассуждениях проигнорировано наличие opensouce средств, даже dimodelo, кстати, можно открутить от родного планировщика (что я и делал) - про зависимость не совсем корректно.

2. Насколько я понял общая позиция даже не про DWA а в целом - что можно все сделать самим - любое ПО - не нашел особенностей data-warehousing в тексте

3. Про подкручивание это видимо про то что отзывы клиентов на сайте про кратное увеличение производительности - вранье ))) на западе к вранью аккуратнее относятся в среднем, кстати ))) по себе не судите ))))
28 авг 18, 01:04    [21655613]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Бумбараш,
автор
VS может конкурировать с промышленными лидерами ETL

DWA используют эти средства ETL - тут вроде не конкуренция.
28 авг 18, 01:10    [21655617]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
vikkiv
Member

Откуда: London
Сообщений: 1577
Evolex_,

да, верно, именно сравнение результата от различных альтернатив и влияние в долгосрочном периоде, причём немаловажный акцент на непрерывность/стабильность сервиса.

1-2 : всё оценивается с позиции затраты/результат/риски , поэтому как часто принимающий такие решения даже не рассматриваю мелких производителей софта (разве что на какие временные проекты, или действительно перспективный пилот) - именно из-за последнего пункта, причём первый пункт включает наличие специалистов на рынке. Потом ввод/вывод продукта на продакшене с миграциями - это ещё та эпопея.

3 : по себе нет обоснований судить т.к. я не с той стороны, у меня 60% поддержки, и меньше 20% докручивание функционала, так что в основном на принимающей стороне, а не на продажной.
28 авг 18, 01:29    [21655619]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
vikkiv,

BIML тоже никаких эмоций не вызыывет? ) От тех же ребят тоже есть DWA отдельное.

Откуда взялась вообеще оценка про мелких? )))

Относительно полный список тут:
https://www.datawarehouseautomation.guide/dwa-tools/
28 авг 18, 01:35    [21655620]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1886
Evolex_,

ура, наконец-то изобрели серебряную пулю, и можно наконец уволить этих бездельников-айтишников ;)
28 авг 18, 11:12    [21655852]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
StarikNavy,

Это ваша личная жизненная позиция, я к ней отношения не имею )))))
28 авг 18, 11:52    [21655932]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3466
Видел проект среднего размера на DWA - mssql+ssis. Ни разу не серебрянная пуля. Количество времени на доработки и саппорт абсолютно идентично такому же для pure ssis+sql.
28 авг 18, 12:37    [21656006]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3466
А по факту - это еще один уровнь абстракции возникающий над данными и их преобразованиями.
28 авг 18, 12:37    [21656007]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3466
Buzzword уровня - Selfservice BI
28 авг 18, 12:38    [21656009]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Ivan Durak,

Все правильно, еще один уровень абстракции - ничего плохого в таком утверждении нет, вроде.
Название того DWA это тайна какая-то? ))
Я насколько понимаю, все относительно крупные проекты так или иначе делают DWA. Разница в том чтобы делать велосипед - например, с использованием того же BIML
BIML/MIST - как задать версии .NET и C#?
или взять готовое средство с историей.

На текущий момент ваше утверждение о том что TCO велосипеда "абсолютно" такое же как и у готового DWA противопоставляется заявлениям DWA производителей о кратном уменьшении расходов. И за рубежом к вранью в среднем гораздо аккуратнее относятся, особенно к публичному - не очень у вас сильная позиция с этим заявлением, мне кажется.
28 авг 18, 12:49    [21656021]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3466
Evolex_
Ivan Durak,
Все правильно, еще один уровень абстракции - ничего плохого в таком утверждении нет, вроде.

Чем больше уровней абстракции - тем сложнее понимание процессов, и тем дольше выполняются действия чуть сложнее чем стандартные.

Название того DWA это тайна какая-то? ))

Lawson BPW

На текущий момент ваше утверждение о том что TCO велосипеда "абсолютно" такое же как и у готового DWA противопоставляется заявлениям DWA производителей о кратном уменьшении расходов.

Заявления производителей это просто отдельный жанр искусства, это не надо объяснять любому кто много лет теме.
30 авг 18, 11:42    [21658615]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Ivan Durak,

автор
Заявления производителей это просто отдельный жанр искусства, это не надо объяснять любому кто много лет теме.

Ну то есть у вас позиция что неиспользование DWA логично и они нас хотят ввести в заблуждение маркетингом, но мы не сдадимся - вроде так получается.
Кстати, довольно свежее введение (и рекомендация) в DWA от микрософта:
Accelerate your cloud data warehouse with automation tools

автор
Чем больше уровней абстракции - тем сложнее понимание процессов, и тем дольше выполняются действия чуть сложнее чем стандартные.

И они настолько уже нас не уважают что заявляют полностью противоположные эффекты тем что происходят в реальности после внедрения DWA средства - то есть пишут accelerate (Accelerate your cloud data warehouse with automation tools) а реально все полностью наоборот - сложнее и понимание и процессы замедляются.


автор
Lawson BPW

Надо будет посомтреть - интересно, почему его в списке нет
https://www.datawarehouseautomation.guide/dwa-tools/
30 авг 18, 14:22    [21658900]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3052
Интересная тема...
Мой Исин как раз обучен разрабатывать хранилища данных и аналитические витрины. Нужно будет сравнить его с решениями DWA...
Если DWA умеют определять, где лежат продажи и прочие типовые и нетиповые предметные области, с какими справочниками они связаны, то Исина пожалуй надо дополнительно обучить, чтобы Россия оставалась лидером по сравнению с другими странами.
30 авг 18, 15:12    [21659005]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
С тем что людям, у которых есть [url=http://www.sql.ru/forum/708369/razrabotal-drayver-baz-dannyh-chto-dalshe ]FVMas[/url] DWA не нужно я сразу и безоговорочно соглашаюсь - на всякий случай надо это написать )))
30 авг 18, 15:24    [21659023]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить