Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2 3 4      [все]
 DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
С удивлением обнаружил, что поиск по форуму olap/dwh строки DWA возвращает 0 результатов )))
Надо испрвалять ситуацию ))

DWA DWA DWA ))

Вообще удивляет, что многие так усердно "пилят" велосипеды DWH с нуля в то время как на западе (+ Австралия почему-то очень активна в этом) на серьезных проектах довольно популярны Data Warehouse Automation средства.

Что это такое и текущие средства на рынке неплохо описаны здесь:
https://www.datawarehouseautomation.guide/what-is-datawarehouse-automation

На западе тоже немало напиленных вручую dwh и в этом черты совпадают - обычно на таких проектах очень смутная документация, которая довольна сильно устарела и у меня есть подозрение что в этом и смысл )))) - это позволяет выделять бюджеты на сравнимые по непрозрачности работы )))

На текущий момент dwa нацелены на Data Vault и некоторые новые средства даже не имеют возможности создавать обычные хранилища. Есть opensource решения. Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.

Есть идеи кроме особенностей классических российских продаж почему у нас не слышно об этом? )))

sergeyavdovin.ru
27 авг 18, 21:32    [21655503]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Evolex_,

Во, уже лучше - поиск по dwa возвращает что-то теперь )))
27 авг 18, 21:35    [21655511]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
bideveloper
Member

Откуда:
Сообщений: 353
Интересная тема.
Предположу, что у нас в 90% случаях используются обычные хранилища.
А в них 80% работы это прописать, как из stage таблиц получить таблицы измерений и фактов. А это все равно вручную прописывать, автоматика же сама не определит, например, что именно является номенклатурой и из каких таблиц ее собирать.
27 авг 18, 23:28    [21655588]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2111
Evolex_
Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.

А алгоритм преобразования из источника в приёмник откуда берётся?
27 авг 18, 23:41    [21655590]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Один из основных плюсов в том что это не велосипед без документации а продукт с документацией и поддержкой ))) - пользуйтесь )))) поиск ответов на первые вопросы можно начать с просмотра видео )))

https://www.youtube.com/channel/UCheAIMVZCMh7e62ROp_nWlg

И даже курс есть )))

https://www.dimodelo.com/courses/develop-data-warehouse-dimodelo-architect-depth-course/

Я не агитирую за конкретно этих ребят, у меня к ним свои вопросы есть, но когда начинал заниматься темой у них единственных оказался почти немедленно доступный дистрибутив и большая часть функционала доступна через GUI в Visual Studio (у других через командную строку или отдельные приложения) ))))
28 авг 18, 00:08    [21655598]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Одна из самых прикольных картинок работы этого средства - выбор технологии для трансформации и загрузки данных после извлечения )))))) генерируются либо SSIS либо SQL (для 2017 SSIS не работают вроде - только стейджинг, сам пробовал только SQL)

К сообщению приложен файл. Размер - 16Kb
28 авг 18, 00:14    [21655601]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Да, кстати, это для многих, как я понимаю, может быть сюрпризом - что SSIS, вероятно, не лучшее средство для трансформаций и загрузки в DWH ))))) хотя, некоторые, вообще питоном трансформации SQL->SQL делают ))))))))))

Детали про трансформации я тут описывал в документации к POC ))))
http://sergeyavdovin.com/contents/resume/AdventureWorksDWHandReportingSolutionHROverview.pdf

P.S. На текущий момент работу не ищу - мне интересно обсудить ))))

К сообщению приложен файл. Размер - 141Kb
28 авг 18, 00:26    [21655603]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2111
Посмотрел первое видео. В части ЕТЛь - также, как и в других етль средствах, рисуешь часть руками, часть прописываешь запросами. Как этот плагин для VS может конкурировать с промышленными лидерами ETL - непонятно. Для Австралии или Вроцлава, наверное, ок.

В России автоматизация вполне есть. Она либо пишется инхаус, либо предлагается в виде полукоробок\коробок интеграторами.

В сбере, например, аналитик пишет маппинг в определенном формате в экселе. Потом по этому экселю автоматически генерится весь код, все слои, метаданные. И всё. Никаких гуев и лишних действий с плагинами. Так делается и в других компаниях.
28 авг 18, 00:30    [21655604]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2111
Бумбараш
Никаких гуев

и разработчиков
(почти)
28 авг 18, 00:33    [21655607]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
vikkiv
Member

Откуда: London
Сообщений: 1689
немного ожидаемого и банального скептицизма:

кейсы внедрения нужны (не подкрученные), например при наличии чёткого задания объективное время разработки полного ETL для DWH из Dynamics AX крупной компании под отчётность стандартно/в ручную, и сторонним средством на сырой поляне (хотя если будет подготовлено самим производителем - то ясно в чью пользу результаты показывать будут, да и "независимые" тоже обычно на поводке)

а то как показывает практика - время затраченное на освоение всяких сторонних свистулек средств а потом на его использование/поддержку обычно превышает default решение (на которое между прочим толковых и доступных специалистов на рынке труда - толпы), только вот потери на освоение уже не вернуть, да и сотни часов навыков которые никому не продашь - тоже идут в топку, ещё частое явление: эти паразиты подсадят на какую нибудь невероятную тузлу наивного менагера - а потом начинается закручивание гаек (ну или сами канут в бездну по другим причинам), хотя на самом деле есть толковые продукты - но риски слишком велики чтобы подписываться, ну разве что простота входа/выхода есть, тогда пилотом вполне можно в экспериментальных целях пробовать.
28 авг 18, 00:35    [21655609]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Бумбараш,

Не надо гнать на Вроцлав и Австралию, и в Вроцлаве и в Австралии все хорошо и компании крупные есть ))))) надо пробовать информацию искать ))))))

Ну понятно же что по всему миру DWA используются и посикать можно
https://www.wherescape.com/customers/
я вот такие заявления и называю "особенностями Российских продаж"
28 авг 18, 00:44    [21655610]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
vikkiv,

Наскольбко я понял сравниваются инвестиции в свою собственную разработку и в DWA на рынке.

1. В рассуждениях проигнорировано наличие opensouce средств, даже dimodelo, кстати, можно открутить от родного планировщика (что я и делал) - про зависимость не совсем корректно.

2. Насколько я понял общая позиция даже не про DWA а в целом - что можно все сделать самим - любое ПО - не нашел особенностей data-warehousing в тексте

3. Про подкручивание это видимо про то что отзывы клиентов на сайте про кратное увеличение производительности - вранье ))) на западе к вранью аккуратнее относятся в среднем, кстати ))) по себе не судите ))))
28 авг 18, 01:04    [21655613]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Бумбараш,
автор
VS может конкурировать с промышленными лидерами ETL

DWA используют эти средства ETL - тут вроде не конкуренция.
28 авг 18, 01:10    [21655617]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
vikkiv
Member

Откуда: London
Сообщений: 1689
Evolex_,

да, верно, именно сравнение результата от различных альтернатив и влияние в долгосрочном периоде, причём немаловажный акцент на непрерывность/стабильность сервиса.

1-2 : всё оценивается с позиции затраты/результат/риски , поэтому как часто принимающий такие решения даже не рассматриваю мелких производителей софта (разве что на какие временные проекты, или действительно перспективный пилот) - именно из-за последнего пункта, причём первый пункт включает наличие специалистов на рынке. Потом ввод/вывод продукта на продакшене с миграциями - это ещё та эпопея.

3 : по себе нет обоснований судить т.к. я не с той стороны, у меня 60% поддержки, и меньше 20% докручивание функционала, так что в основном на принимающей стороне, а не на продажной.
28 авг 18, 01:29    [21655619]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
vikkiv,

BIML тоже никаких эмоций не вызыывет? ) От тех же ребят тоже есть DWA отдельное.

Откуда взялась вообеще оценка про мелких? )))

Относительно полный список тут:
https://www.datawarehouseautomation.guide/dwa-tools/
28 авг 18, 01:35    [21655620]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1942
Evolex_,

ура, наконец-то изобрели серебряную пулю, и можно наконец уволить этих бездельников-айтишников ;)
28 авг 18, 11:12    [21655852]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
StarikNavy,

Это ваша личная жизненная позиция, я к ней отношения не имею )))))
28 авг 18, 11:52    [21655932]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3498
Видел проект среднего размера на DWA - mssql+ssis. Ни разу не серебрянная пуля. Количество времени на доработки и саппорт абсолютно идентично такому же для pure ssis+sql.
28 авг 18, 12:37    [21656006]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3498
А по факту - это еще один уровнь абстракции возникающий над данными и их преобразованиями.
28 авг 18, 12:37    [21656007]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3498
Buzzword уровня - Selfservice BI
28 авг 18, 12:38    [21656009]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Ivan Durak,

Все правильно, еще один уровень абстракции - ничего плохого в таком утверждении нет, вроде.
Название того DWA это тайна какая-то? ))
Я насколько понимаю, все относительно крупные проекты так или иначе делают DWA. Разница в том чтобы делать велосипед - например, с использованием того же BIML
BIML/MIST - как задать версии .NET и C#?
или взять готовое средство с историей.

На текущий момент ваше утверждение о том что TCO велосипеда "абсолютно" такое же как и у готового DWA противопоставляется заявлениям DWA производителей о кратном уменьшении расходов. И за рубежом к вранью в среднем гораздо аккуратнее относятся, особенно к публичному - не очень у вас сильная позиция с этим заявлением, мне кажется.
28 авг 18, 12:49    [21656021]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3498
Evolex_
Ivan Durak,
Все правильно, еще один уровень абстракции - ничего плохого в таком утверждении нет, вроде.

Чем больше уровней абстракции - тем сложнее понимание процессов, и тем дольше выполняются действия чуть сложнее чем стандартные.

Название того DWA это тайна какая-то? ))

Lawson BPW

На текущий момент ваше утверждение о том что TCO велосипеда "абсолютно" такое же как и у готового DWA противопоставляется заявлениям DWA производителей о кратном уменьшении расходов.

Заявления производителей это просто отдельный жанр искусства, это не надо объяснять любому кто много лет теме.
30 авг 18, 11:42    [21658615]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Ivan Durak,

автор
Заявления производителей это просто отдельный жанр искусства, это не надо объяснять любому кто много лет теме.

Ну то есть у вас позиция что неиспользование DWA логично и они нас хотят ввести в заблуждение маркетингом, но мы не сдадимся - вроде так получается.
Кстати, довольно свежее введение (и рекомендация) в DWA от микрософта:
Accelerate your cloud data warehouse with automation tools

автор
Чем больше уровней абстракции - тем сложнее понимание процессов, и тем дольше выполняются действия чуть сложнее чем стандартные.

И они настолько уже нас не уважают что заявляют полностью противоположные эффекты тем что происходят в реальности после внедрения DWA средства - то есть пишут accelerate (Accelerate your cloud data warehouse with automation tools) а реально все полностью наоборот - сложнее и понимание и процессы замедляются.


автор
Lawson BPW

Надо будет посомтреть - интересно, почему его в списке нет
https://www.datawarehouseautomation.guide/dwa-tools/
30 авг 18, 14:22    [21658900]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3055
Интересная тема...
Мой Исин как раз обучен разрабатывать хранилища данных и аналитические витрины. Нужно будет сравнить его с решениями DWA...
Если DWA умеют определять, где лежат продажи и прочие типовые и нетиповые предметные области, с какими справочниками они связаны, то Исина пожалуй надо дополнительно обучить, чтобы Россия оставалась лидером по сравнению с другими странами.
30 авг 18, 15:12    [21659005]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
С тем что людям, у которых есть [url=http://www.sql.ru/forum/708369/razrabotal-drayver-baz-dannyh-chto-dalshe ]FVMas[/url] DWA не нужно я сразу и безоговорочно соглашаюсь - на всякий случай надо это написать )))
30 авг 18, 15:24    [21659023]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_,

Элементы DWA есть везде. Глючный BIML приходится использовать, чаще для автоматизации выгрузки из источников. Т.е. Extract и Load часть.

Как автоматизировать Trasformation?

При этом стоимость собственно выгрузки из источников ну может 20% от проекта максимум.

Ну съэкономим мы 30% от этих 20%. Большой роли не сыграет.

Зато придется вложиться в обучение. Где профит?
30 авг 18, 16:29    [21659167]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,

Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?
30 авг 18, 16:45    [21659191]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3055
Как автоматизировать Trasformation?
При этом стоимость собственно выгрузки из источников ну может 20% от проекта максимум.
Ну съэкономим мы 30% от этих 20%. Большой роли не сыграет.
Зато придется вложиться в обучение. Где профит?


Серьезные решения делают Transformation автоматически. Вопрос в том, найдутся ли такие сложные задачи, которым Искусственный интеллект еще не обучен в области построения хранилищ и витрин данных... Если найдутся, то нужно будет провести дополнительное обучение. Профит - в сокращении разработки ХД с многих человеко-месяцев до 1 человеко-дня ассистента Исина.
30 авг 18, 16:46    [21659193]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Jurii
Как автоматизировать Trasformation?
При этом стоимость собственно выгрузки из источников ну может 20% от проекта максимум.
Ну съэкономим мы 30% от этих 20%. Большой роли не сыграет.
Зато придется вложиться в обучение. Где профит?


Серьезные решения делают Transformation автоматически. Вопрос в том, найдутся ли такие сложные задачи, которым Искусственный интеллект еще не обучен в области построения хранилищ и витрин данных... Если найдутся, то нужно будет провести дополнительное обучение. Профит - в сокращении разработки ХД с многих человеко-месяцев до 1 человеко-дня ассистента Исина.



Ну-ну... Гладко было на бумаге. Примеры в студию.
30 авг 18, 16:53    [21659201]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_
tarrus,

Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?


Я не поддерживаю, я уже сталкивался с подобными историями. DWA такой же программный продукт как и остальные. Все смотрят на время создания самих пакетов и процедур выгрузки и загрузки. Ну да быстро, спору нет. А документация, а поддержа, а доработки, а нестандартные сценарии, обучение девелоперов?
30 авг 18, 17:20    [21659241]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,
автор
Я не поддерживаю

Вы вообще против всех? И единомышленников не поддерживаете и против DWA?

автор
a документация

Документация (для примера) это одна из областей, которые автоматизируются средствами DWA. (О Dimodelo, я, кстати, узнал много лет назад, когда использовал их средство документации SSAS https://www.dimodelo.com/ssas-document-doc-generator - документация это одна из ключевых областей для автоматизации в целом).

В ссылках выше эта информация есть. Например в обзоре MS https://azure.microsoft.com/en-us/blog/accelerate-your-cloud-data-warehouse-with-automation-tools/ (в описаниях производителей эту информацию так же можно найти):

DWA tools provide more than just ETL automation, they automate the complete life cycle of a data warehouse solution, from analysis, design, and implementation to documentation, monitoring and maintenance.

Другая проблема, которую решает DWA это управление метаданными (Metadata Management). Причем в этом случае даже недостатки ETL средств частично нивелируются и выбор в пользу informatica, по моему мнению, становится не таким очевидным - метаданные хранятся на более высоком уровне централизованно изначально. Так gartner много лет подряд писал в Magic Quadrant for Business Intelligence Platforms о недостатках MS (сейчас не пишет, наверное, потому что исходный квадрант переименовали и есть отдельный квадрант и MS там вообще нет Magic Quadrant for Metadata Management Solutions):
There is no single, enterprise, business, metadata layer or capability across Microsoft's BI platform components. Each has its own metadata model, which could translate into higher development maintenance costs should an organization need more integrated and sophisticated metadata functionality for modeling, impact/lineage and change management.
И это одна из самых сильных особенностей Informatica, кстати, которая при использовании DWA становится менее значимой.
30 авг 18, 18:45    [21659312]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_
tarrus,
автор
Я не поддерживаю

Вы вообще против всех? И единомышленников не поддерживаете и против DWA?



Вы меня хотите обсудить?

А вы раз, так уверены в нашей дремучести и вашей просветленности, рассказали бы нам, что внедрили.

Сказали бы честно, что у вас опыта нет, а то сразу в "России DWH из каменного века, а вот на западе". Открою вам глаза, что проекты в Москве и Питере очень даже не плохие и современные даже по европейским и американским меркам.

Автоматизация DWH хороша, там где полезна и экономически выгодна. По вашей ссылке крупных игроков нет, все они предлагают нишевые решения и внедрения у них единичные. Да и сайт ни о чем.

Документация? Ну-ну, кто бы за неё заплатил и потом читал. Дешевле консультанта переманить. А доки для юзеров и высокоуровневые спеки вы не автоматизируете.

Вы тиражируете какой-то поток мыслей для pre-sale. В реальном проекте все гораздо проще.
30 авг 18, 19:20    [21659331]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_
a документация


Кстати, я писал про документацию для процесса разработки.
30 авг 18, 19:23    [21659334]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,
Про каменный век я, вроде, не говорил. Не надо за меня додумывать )))) Ваша позиция, способы аргументации и методы работы с DWH мне лично понятны, спасибо.
30 авг 18, 19:33    [21659336]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_
tarrus,
Про каменный век я, вроде, не говорил. Не надо за меня додумывать )))) Ваша позиция, способы аргументации и методы работы с DWH мне лично понятны, спасибо.


А это чьи слова с высока?

автор
Вообще удивляет, что многие так усердно "пилят" велосипеды DWH с нуля в то время как на западе
30 авг 18, 19:36    [21659340]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,

Я же там даже конкретное предположение написал в конце почему так происходит ))) про высоко это полностью ваши выдумки )))
Ваши подходы к аргументации и работе с информацией мне понятны.
30 авг 18, 19:42    [21659343]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_
tarrus,

Я же там даже конкретное предположение написал в конце почему так происходит ))) про высоко это полностью ваши выдумки )))
Ваши подходы к аргументации и работе с информацией мне понятны.


Ну хорошое, что вам не нравится в моей аргументации. Давайте попорядку?

1. DWA подразумевает под собой программный продукт?
2. Подразумевает ли внедрение DWA в команде полный цикл внедрения? Среди основных моментов.
  • Разработка документации на новую архитектуру и процесс разработки.
  • Обучение разработчиков или поиск новых.
  • Разработка или кастомизация собственно системы.
  • Поддержка, включая стоимость обучения новых членов команды и риски пропажи продукта с рынка.
  • Оценка стоимости внесения изменений в новую архитектуру.
  • 30 авг 18, 19:54    [21659352]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Alex_496
    Member

    Откуда:
    Сообщений: 3733
    Evolex_,

    так зачем про грибные места рассказывать? Нашли волшебное лукошко, зарабатывайте 1 млн. USD, потом расскажете :)

    для компаний с хорошими бюджетами организуются закрытые техн. презентации, на которых много чего увлекательного рассказывают. Что выбрать - каждый примеряет для себя, об этом и западные архитекторы в блогах пишут
    30 авг 18, 20:06    [21659370]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,

    То есть вы говорите что не используете dwa из-за того что ответы на эти пункты вас не удовлетворяют - я не против, ладно )))
    30 авг 18, 20:10    [21659377]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Alex_496,

    Да нее ))) мне было интересно почему в России не используется )))) и я как раз предположил что из-за того что можно бабла побольше срубить когда меньше прозрачности в работах )))) То есть вы вроде эти подтверждаете )))
    30 авг 18, 20:13    [21659381]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Бумбараш
    Member

    Откуда: никем не победимая, самая любимая
    Сообщений: 2111
    Evolex_, я же говорю, автоматизация разработки хранилищ в России вполне есть, и ушла подальше гуишных плагинов.
    Если вы не сталкивались с ней работая MS BI в автодилере, то это не значит, что её нет.
    30 авг 18, 21:16    [21659416]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Никогда не работал в автодилере ну ладно.

    Подытожить на текущий момент:

    BI Developer + vik + ivan + tarrus: нет и не надо (вообще не надо)

    Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

    Я + Alexxx : не выгодно тем кто зарабатывает на внедрении решений
    30 авг 18, 21:38    [21659430]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Evolex_
    Никогда не работал в автодилере ну ладно.

    Подытожить на текущий момент:

    BI Developer + vik + ivan + tarrus: нет и не надо (вообще не надо)

    Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

    Я + Alexxx : не выгодно тем кто зарабатывает на внедрении решений


    Э как он меня посчитал. Я использую и вполне успешно, но локально. На этапе выгрузки в staging оправдывает себя. Иногда куски выгрузок в хранилище удается автоматизировать, но ни в какие серебряные пули не верю и решений таких не встречал даже у крупных заказчиков.

    Привести примеры своих пробивных проектов товарищ отказывается. Зато за пару месяцев работая у одного заказчика в Польше уже сформировал мнение обо всем западе.
    30 авг 18, 22:14    [21659461]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,

    Да приводил я пример - описание POC решения end-to-end выше, хорош загоняться уже, усваиваешь 30% информации с первого раза и не стесняешься еще.
    30 авг 18, 22:21    [21659464]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Evolex_
    tarrus,

    Да приводил я пример - описание POC решения end-to-end выше, хорош загоняться уже, усваиваешь 30% информации с первого раза и не стесняешься еще.


    Я отлично усваиваю, спасибо за заботу. Я сразу писал про экономическое обоснование и локальное использование повсеместно . Перевирать мои слова и насмехаться с "вы вообще против всех" начал ты, раз уж мы теперь на ты.

    Так что научись сначала уважать других, тогда и отношение будет другое.
    30 авг 18, 22:30    [21659471]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,

    Дак ты вроде и сейчас против всех )))) - там Иван тебе не понравился, у которого такая же позиия была, сейчас отнесение к группе не понравилось )))
    30 авг 18, 22:32    [21659472]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Evolex_
    tarrus,

    Дак ты вроде и сейчас против всех )))) - там Иван тебе не понравился, у которого такая же позиия была, сейчас отнесение к группе не понравилось )))
    какой Иван мне не понравился? Ты трезв?
    30 авг 18, 22:36    [21659473]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus
    Evolex_
    tarrus,

    Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?


    Я не поддерживаю, я уже сталкивался с подобными историями. DWA такой же программный продукт как и остальные. Все смотрят на время создания самих пакетов и процедур выгрузки и загрузки. Ну да быстро, спору нет. А документация, а поддержа, а доработки, а нестандартные сценарии, обучение девелоперов?


    Вот этот )) времени много, хорош смешить ))) на ночь нельзя много смеяться ))))
    30 авг 18, 22:39    [21659474]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Evolex_
    tarrus
    пропущено...


    Я не поддерживаю, я уже сталкивался с подобными историями. DWA такой же программный продукт как и остальные. Все смотрят на время создания самих пакетов и процедур выгрузки и загрузки. Ну да быстро, спору нет. А документация, а поддержа, а доработки, а нестандартные сценарии, обучение девелоперов?


    Вот этот )) времени много, хорош смешить ))) на ночь нельзя много смеяться ))))


    И где написано, что мне не нравится? Иван сказал дельные вещи.
    30 авг 18, 22:41    [21659475]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,

    А чего тогда пишешь
    автор
    Я не поддерживаю
    ? ))))
    30 авг 18, 22:43    [21659477]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Evolex_
    tarrus,

    А чего тогда пишешь
    автор
    Я не поддерживаю
    ? ))))


    То есть неитральное отношение в голову не пришло? Обязательно "не понравился"?
    30 авг 18, 22:45    [21659479]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,
    Итак, от тебя прозвучали все 3 варианта по этому вопросу
    автор
    Иван сказал дельные вещи

    автор
    Не поддерживаю (Ивана)

    автор
    Нейтральное отношение

    Надо определяться, мне кажется )))
    30 авг 18, 22:47    [21659481]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,
    И у меня есть ощущение, что ты меня решил добить после того как я сказал что на ночь нельзя много смеяться ))))
    30 авг 18, 22:49    [21659482]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Бумбараш
    Evolex_
    Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.

    А алгоритм преобразования из источника в приёмник откуда берётся?


    А на главный вопрос ответа мы так и не получили.
    30 авг 18, 22:49    [21659483]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Evolex_
    tarrus,
    Итак, от тебя прозвучали все 3 варианта по этому вопросу
    автор
    Иван сказал дельные вещи

    автор
    Не поддерживаю (Ивана)

    автор
    Нейтральное отношение

    Надо определяться, мне кажется )))


    Где противоречие то? У тебя жизнь черно-белая штоли? Сочувствую
    30 авг 18, 22:51    [21659484]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,

    Начинаются 30%

    Главный вопрос:
    автор
    Есть идеи кроме особенностей классических российских продаж почему у нас не слышно об этом? )))

    Главный ответ:
    автор
    BI Developer + vik + ivan + tarrus: нет и не надо (вообще не надо)

    Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

    Я + Alexxx : не выгодно тем кто зарабатывает на внедрении решений
    30 авг 18, 22:52    [21659486]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Evolex_
    tarrus,
    Итак, от тебя прозвучали все 3 варианта по этому вопросу
    автор
    Иван сказал дельные вещи

    автор
    Не поддерживаю (Ивана)

    автор
    Нейтральное отношение

    Надо определяться, мне кажется )))


    tarrus

    Где противоречие то? У тебя жизнь черно-белая штоли? Сочувствую

    ну то есть тебе нормально по одному вопросу высказать одновременно все 3 мнения, не, я не против, в принципе - нормальный подход )))
    30 авг 18, 22:55    [21659489]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    L_argo
    Member

    Откуда:
    Сообщений: 393
    а то как показывает практика - время затраченное на освоение всяких сторонних свистулек средств а потом на его использование/поддержку обычно превышает default решение (на которое между прочим толковых и доступных специалистов на рынке труда - толпы), только вот потери на освоение уже не вернуть
    +500

    А по факту - это еще один уровень абстракции возникающий над данными и их преобразованиями.
    +500

    Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?
    А что же еще ? Судя по тормозам и глюкам современных продуктов, маркетологи уже начали писать код. :)

    Ну съэкономим мы 30% от этих 20%. Большой роли не сыграет.
    Зато придется вложиться в обучение. Где профит?
    +500

    ЗЫ: зоопарк технологий - зло. И чем они многочисленнее и экзотичнее - тем зло злее.
    "Экономия" на эффективности решения быстро и полностью будет съедена отсутствием квалиф.специалиста в нужный момент или вынужденной миграцией на новый зоопарк. Риски будут намного критичнее скорости и удобства.
    1 сен 18, 09:25    [21661031]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    .Евгений
    Member

    Откуда:
    Сообщений: 377
    Лично я не вижу смысла в поисках серебряной пули и универсального солдата инструмента. Не только по очевидной причине (разные потребности клиентов). И не потому, что разрабатываю кастомное решение, а не продукт.
    Более важна другая причина: потребность разработчика (руководителя разработки) в ощутимой оплате труда. Извините, за нажатие кнопки можно получить оплату один раз, два, ну три. Но потом клиенты просекут фишку, и лафа непременно закончится. Придется уходить из разработчиков ХД куда-то еще.

    P.S. Чье-то отсутствие юмора - не моя проблема.

    P.P.S. В настоящее время ваяю нестандартную загрузку ХД (нестандартная постановка). В SSIS-пакетах больше половины компонент - скрипты (в первой версии решения скрипты отсутствовали). Не говорите мне сейчас про DWA.
    1 сен 18, 12:01    [21661123]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Добавляем мнения )))
    BI Developer + vik + ivan + tarrus +L_argo (DWA - это зло) : нет и не надо (вообще не надо)

    Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

    Я + Alexxx + .Евгений(+серебряная пуля) : не выгодно тем кто зарабатывает на внедрении решений
    1 сен 18, 16:03    [21661228]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Voyager_lan
    Member

    Откуда:
    Сообщений: 1456
    Evolex_,

    В вашу копилку 5 копеек.
    Допускаю , что для тиражируемых отраслевых решений эдакий "Starter kit" , возможно, даже необходим, чтобы хоть новички делали на уже основе этого кастомизацию, а не лепили непонятно что.
    3 сен 18, 10:02    [21662314]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Shtock
    Member

    Откуда: СПб
    Сообщений: 3035
    Завидую Evolex_, что у него есть время делать какую-то статистику. Я так и не понял зачем, но...
    3 сен 18, 10:43    [21662369]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Добавляем мнения )))
    BI Developer + vik + ivan + tarrus +L_argo (DWA - это зло) +Shtock (смысла нет, вообще нет) : нет и не надо (вообще не надо)

    Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

    Я + Alexxx + .Евгений(+серебряная пуля) : не выгодно тем кто зарабатывает на внедрении решений
    3 сен 18, 12:09    [21662481]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Voyager_lan,

    Добоый день ) а не для тиражируемых? ))
    3 сен 18, 12:10    [21662483]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    .Евгений
    Member

    Откуда:
    Сообщений: 377
    Evolex_,

    лучше продемонстрируйте, как некое DWA помогает в разрешении типовых задач ХД - разрешении идентификаторов, очистке данных. Как оно пишет агрегированную статистику выполнения (пакет XXX выполнялся пользователем YYY с timestamp1 по timestamp2, считал n1 строк, из них n2 полезных; отсеял n3 и очистил n4 грязных строк; вставил n5, обновил n6, удалил n7 чистых строк)
    Как создает лог с регулируемой детализацией вплоть до прохождения каждой строки через каждый компонент.
    Как создает обработчики ошибок выполнения пакетов.

    Потому что если DWA этого не делает, то оно мне не нужно.
    3 сен 18, 12:40    [21662518]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    .Евгений,

    У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует )))
    Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны ))))))))
    3 сен 18, 13:32    [21662597]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Jurii
    Member

    Откуда: Moscow http://cognos.narod.ru
    Сообщений: 3055
    2 Evolex_:

    Рекомендую еще добавить, что наличие обученного Исина (в т.ч. с навыками DWA), который работает за еду, достаточно выгодно для тех "кто зарабатывает на внедрении решений", поскольку это сильно снижает себестоимость работ.
    При этом, для проектов, которые делает г-н .Евгений , Исина нужно немного дополнительно обучить ;)
    3 сен 18, 13:34    [21662602]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Jurii,

    Коллега, полностью с вами согласен в этом утверждении ))
    3 сен 18, 13:38    [21662605]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    .Евгений
    Member

    Откуда:
    Сообщений: 377
    Evolex_
    .Евгений,

    У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует )))
    Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны ))))))))

    Ну пошли-поехали детские обидки. Сначала объясни вам, почему не используют DWA. То вам вообще неинтересно, какие задачи, слегка выходящие за пределы элементарного ETL, могут поставить перед DWA.
    С такими нервами слонаDWA не продашь...
    Jurii
    При этом, для проектов, которые делает г-н .Евгений , Исина нужно немного дополнительно обучить ;)

    Как, перед вашим Исином не ставили перечисленных задач? Ну извините, мне сложно считать адекватной загрузку ХД, не реализующей хотя бы половину сказанного.
    3 сен 18, 15:48    [21662831]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    .Евгений,
    Могу предожить вам убить вашего слона вашей же серебряной пулей, но ко мне эти процессы никакого отношения не имеют )))

    По поводу продаж - я не продацец, я делаю решения ))) + поддерживаю текущий тренд на то что продавцов в текущем понимании с их особенностями должно становиться меньше, даже тестировал рекламу - интерес был большой )))))

    Еще есть идея что вот те продавцы решают вполне конкретные полезные задачи - помогают людям, которые говорят про зло, слонов и серебряные пули, и продавцы с теми сказочными персонажами вполне вместе нормально могут работать, мне кажется, но я в таком лично не хотел бы участвовать ))))

    К сообщению приложен файл. Размер - 13Kb
    3 сен 18, 16:06    [21662848]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Jurii
    Member

    Откуда: Moscow http://cognos.narod.ru
    Сообщений: 3055
    2 .Евгений:

    помогает в разрешении типовых задач ХД - разрешении идентификаторов, очистке данных. Как оно пишет агрегированную статистику выполнения (пакет XXX выполнялся пользователем YYY с timestamp1 по timestamp2, считал n1 строк, из них n2 полезных; отсеял n3 и очистил n4 грязных строк; вставил n5, обновил n6, удалил n7 чистых строк)
    Как создает лог с регулируемой детализацией вплоть до прохождения каждой строки через каждый компонент.
    Как создает обработчики ошибок выполнения пакетов.
    Как, перед вашим Исином не ставили перечисленных задач? Ну извините, мне сложно считать адекватной загрузку ХД, не реализующей хотя бы половину сказанного.


    Перед Исином я ставил задачи по правилу 80 на 20 - чтобы достичь максимальной монетизации и роста курса хракойна, высокой производительности когда ХД формируется на основе десятков-сотен и более учетных систем. Исин формирует целочисленные ID, это важно. Поддерживает медленно меняющиеся измерения. Уважает лучшие практики разработки ХД. С очисткой данных - не такой однозначный вопрос. Исин по произвольно написанным адресам определяет эталонные адреса с координатами, но если он в разных базах видит 2 примерно одинаковых контрагента - он отдает этот вопрос на откуп модулю MDM, сам пока не принимает решение, что это один и тот же контрагент. Некоторые логирования реализованы, некоторые нет, это на мой взгляд - менее приоритетные фантики. Некоторые вопросы - где используется Inner Join, а где Outer Join - сходу не вспомню, нужно анализировать. Для большинства российских компаний Исин может дать быстрый результат, это важный приоритет с учетом пожелания ВВП о росте производительности на 5% в год.
    3 сен 18, 17:57    [21662995]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Alex_496
    Member

    Откуда:
    Сообщений: 3733
    автор
    Исин по произвольно написанным адресам определяет эталонные адреса с координатами


    Есть API Яндекса, которые отлично решают эту задачу, которые можно обернуть и обернули в пакетную (bulk) обработку.
    3 сен 18, 18:14    [21663011]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    .Евгений
    Member

    Откуда:
    Сообщений: 377
    Evolex_
    .Евгений,
    Могу предожить вам убить вашего слона вашей же серебряной пулей, но ко мне эти процессы никакого отношения не имеют )))

    По поводу продаж - я не продацец, я делаю решения ))) + поддерживаю текущий тренд на то что продавцов в текущем понимании с их особенностями должно становиться меньше, даже тестировал рекламу - интерес был большой )))))

    Еще есть идея что вот те продавцы решают вполне конкретные полезные задачи - помогают людям, которые говорят про зло, слонов и серебряные пули, и продавцы с теми сказочными персонажами вполне вместе нормально могут работать, мне кажется, но я в таком лично не хотел бы участвовать ))))

    Я правильно понял, что про возможности DWA для решения указанных мной ранее задач, характерных для ХД, вы говорить не желаете?
    Jurii
    Перед Исином я ставил задачи по правилу 80 на 20 - чтобы достичь максимальной монетизации и роста курса хракойна, высокой производительности когда ХД формируется на основе десятков-сотен и более учетных систем. Исин формирует целочисленные ID, это важно. Поддерживает медленно меняющиеся измерения. Уважает лучшие практики разработки ХД. С очисткой данных - не такой однозначный вопрос. Исин по произвольно написанным адресам определяет эталонные адреса с координатами, но если он в разных базах видит 2 примерно одинаковых контрагента - он отдает этот вопрос на откуп модулю MDM, сам пока не принимает решение, что это один и тот же контрагент. Некоторые логирования реализованы, некоторые нет, это на мой взгляд - менее приоритетные фантики. Некоторые вопросы - где используется Inner Join, а где Outer Join - сходу не вспомню, нужно анализировать. Для большинства российских компаний Исин может дать быстрый результат, это важный приоритет с учетом пожелания ВВП о росте производительности на 5% в год.

    Еще раз, как решается простая задача: разрешить идентификатор исходной системы в идентификатор ХД?
    Как решается другая задача: отсеивание плохой строки (например, не разрешена ссылка на справочник ХД) и автоматическая загрузка после исправления (пополнения справочника ХД)?
    Как решается обработка ошибок - например, нехватки памяти? (Ненавижу разработчиков SSIS, которые вместо инициации ошибки до бесконечности пишут в лог строки типа "The buffer manager failed a memory allocation call for 560000 bytes, but was unable to swap out any buffers to relieve memory pressure…")

    Вот именно это и есть реальная жизнь с ХД, а не маркетологические бла-бла-бла про практики SCD как в лучших домах Лондона и развертывание ХД нажатием одной кнопки.
    3 сен 18, 18:44    [21663038]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Jurii
    Member

    Откуда: Moscow http://cognos.narod.ru
    Сообщений: 3055
    2 .Евгений:

    Еще раз, как решается простая задача: разрешить идентификатор исходной системы в идентификатор ХД?
    Как решается другая задача: отсеивание плохой строки (например, не разрешена ссылка на справочник ХД) и автоматическая загрузка после исправления (пополнения справочника ХД)?
    Как решается обработка ошибок - например, нехватки памяти?


    Не знаю, правильно ли мы друг друга понимаем, могут помочь конкретные примеры.
    В целом Исин работает так - сначала формирует справочники, присваивает каждой записи справочника целочисленный ID, а потом формирует таблицы фактов с этими целочисленными ID. Если в документе есть код товара, а в справочнике его нет - сходу не помню, завтра посмотрю алгоритм Исина.
    Нехватка памяти пока не обрабатывается.
    3 сен 18, 19:03    [21663053]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    .Евгений
    Member

    Откуда:
    Сообщений: 377
    Jurii
    Не знаю, правильно ли мы друг друга понимаем, могут помочь конкретные примеры.
    В целом Исин работает так - сначала формирует справочники, присваивает каждой записи справочника целочисленный ID, а потом формирует таблицы фактов с этими целочисленными ID.

    Порядок понятен и естественен. Вот, кстати, еще одна веселая задача для ХД - автоматическое построение иерархии зависимости для снежинки с большим количеством уровней справочников (сущность знает только своих родителей), и выполнение их загрузок в соответствующем порядке.
    Но вернемся к элементарной задаче ХД - разрешению идентификатора. Загрузка обновляет некую сущность ХД порцией строк. Как эффективно выбрать для каждой строки порции стратегию обновления (Insert/Update/Delete/Ignore)? Примечание: мелочь неинтересна, пусть сущность содержит от 100 млн. строк, порция - от 100 тыс. Каким образом ETL (не ELT!) сопоставить указанные количества бизнес-ключей?
    3 сен 18, 20:25    [21663113]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Voyager_lan
    Member

    Откуда:
    Сообщений: 1456
    Evolex_
    Voyager_lan,

    Добоый день ) а не для тиражируемых? ))


    А для нетиражируемых - как возможности позволяют и потребности хотят, т.е. далеко не всегда.

    Тут ведь .Евгений вам заметил, что покажите-мол как решаются типовые задачи DWH-ETL и люди сами потянутся, зададутся вопросом как они раньше вот так без этого жили. Наличие понятных шаблонов и доступность использования ПО позволяют найти им широкое применение. Поэтому у DWA в России может быть шанс.
    3 сен 18, 21:35    [21663158]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Voyager_lan,
    Хорошо, что есть шанс, но ,на текущий момент, судя по тому что тут пишут и как, люди и Исин больше "тянутся друг к другу" . Мне кажется, я не должен вставать на пути этих чувств ))))
    3 сен 18, 22:25    [21663194]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Alex_496
    Member

    Откуда:
    Сообщений: 3733
    Evolex_
    Voyager_lan,
    Хорошо, что есть шанс, но ,на текущий момент, судя по тому что тут пишут и как, люди и Исин больше "тянутся друг к другу" . Мне кажется, я не должен вставать на пути этих чувств ))))


    Неее, ну так не годится. :) Рабочий кейс в студию, и каждый решит для себя как использовать или нет.
    Иначе - топик сей рекламный
    3 сен 18, 22:33    [21663201]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Alex_496,

    Прорекламировал рынок DWA ))) вроде ничего плохого в этом нет ))))))))

    Evolex_
    Кстати, довольно свежее введение (и рекомендация) в DWA от микрософта:
    Accelerate your cloud data warehouse with automation tools
    ...
    Относительно полный список тут:
    https://www.datawarehouseautomation.guide/dwa-tools/


    А "рабочий кейс" " это чего такое?
    Если Case Studies то вот такие есть:
    https://www.featuredcustomers.com/software/data-warehouse-software
    3 сен 18, 23:09    [21663247]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289


    К сообщению приложен файл. Размер - 37Kb
    3 сен 18, 23:10    [21663248]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    .Евгений
    Member

    Откуда:
    Сообщений: 377
    Перед сном подумалось мне:
    - Завтра в поддержку BI Expert-а я начну восхищаться каким-нибудь навороченным мастером отчетов или построителем SQL-запросов. Выбираются поля, нажимается кнопка и люди вокруг в полном шоке... (мощный зевок)
    3 сен 18, 23:10    [21663249]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Alex_496
    Member

    Откуда:
    Сообщений: 3733
    Evolex_,

    рабочий кейс = свой личный пример на реальном проекте
    3 сен 18, 23:23    [21663256]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Alex_496,

    Я не могу, наверное, рассказывать детали - конфиденциальность
    Можете то что официально выложено посомтреть (и еще поискать в гугле wherescape+volvo)

    https://www.dwbisummit.com/sponsor/wherescape?lang=en
    Our customers include Volvo, Tesco and Vodafone.

    https://vimeo.com/73067047
    3 сен 18, 23:34    [21663270]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Alex_496
    Member

    Откуда:
    Сообщений: 3733
    Evolex_,

    персональные/конфиденциальные данные клиентов/контрагентов, финансовые показатели не требуется показывать. На скриншотах это все можно закрасить. Для видео демонстрации можно задействовать абстрактные/вымышленные данные.

    Под шлагбаум конфиденциальности можно любую скрытую рекламу, в т.ч. и Исин.

    В былые времена Игорь Б. демонстрировал свои задумки и решения на базе собственного BI-продукта, по запросу предоставлял презентации решений. За что ему респект и уважение.

    .Евгений и Voyager_lan корректно подметили - опубликуйте свои примеры как решали те или иные практические задачи и люди сами потянутся.
    Здесь же не форум маркетологов, надеюсь.
    4 сен 18, 00:17    [21663301]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Alex_496,

    Сравнение Игоря Б. (кто бы это ни был) и Исина с Volvo в вопросах конфиденциальности, мне кажется, не очень уместно )))

    Мне кажется вы не правильно понимаете ситуацию ))) мне было интересно узнать про рынок DWA в России - я узнал ))) с чего вы сейчас буквально требуете с меня демонстраций/деталей внедрения я не очень понимаю ))))

    Могу предложить вам написать понравившемуся DWA - они почти все предлагают демонстрации (на английском, конечно)
    https://www.wherescape.com/request-a-demo/
    4 сен 18, 00:39    [21663311]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Бумбараш
    Member

    Откуда: никем не победимая, самая любимая
    Сообщений: 2111
    Alex_496
    Evolex_,

    рабочий кейс = свой личный пример на реальном проекте

    Да у чела опыт только в БИАй. Это в его профиле видно. Он не умеет в загрузку данных, и ему нечего ответить на элементарные вопросы.

    Поэтому на любой вопрос у него "работа не позволяет" и набор смайликов после каждых двух слов.

    Ну хоть движуху создает, и то хорошо.
    4 сен 18, 01:06    [21663320]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Бумбараш,

    Ну я смотрю вы тоже не стесняетесь своих странных мыслей (ни про автодилеров ни этой) )))) но это не моя проблема )) я могу на это не отвечать, в принципе )))
    4 сен 18, 01:21    [21663324]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Кстати, с dimodelo сейчас обсуждаем дату чтобы сделать демонстрацию для России. Не уверен, конечно, что будет толк из рассказов чего-нибудь бумбарашу, например ))))) но подумаем еще )))
    4 сен 18, 01:24    [21663325]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Так )) нет ))) я не могу сейчас этой ерундой заниматься ))) все что надо мне было я понял, сейчас более приоритетные вещи есть ))) через пару дней, может, вернусь )))))
    4 сен 18, 02:55    [21663332]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Andy_OLAP
    Member

    Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
    Сообщений: 2564
    Evolex_
    Alex_496,

    Сравнение Игоря Б. (кто бы это ни был)

    Ой-вей, ну кто же не знает Игоря Бобака, такой молодой, но талантливый разработчик, звезда форума, без шуток.
    4 сен 18, 07:37    [21663375]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Бумбараш
    Да у чела опыт только в БИАй. Это в его профиле видно. Он не умеет в загрузку данных, и ему нечего ответить на элементарные вопросы.

    Поэтому на любой вопрос у него "работа не позволяет" и набор смайликов после каждых двух слов.

    Ну хоть движуху создает, и то хорошо.


    Он просто троль. Забейте на него. Он вообще ничего не обсуждает, только провоцирует и выдергивает слова из контекста.
    Он себя решил порекламировать.

    Ну и про "в России" тоже доставляет от переехавшего в Польшу.
    4 сен 18, 08:42    [21663413]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Кстати, функционала фейсбука по блокированию конкретного пользователя конкретным на форуме очень не хватает, мне кажется - это когда ты блокируешь человека и не видишь его сообщения и он твои не видит )))
    4 сен 18, 14:01    [21664003]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    .Евгений
    Member

    Откуда:
    Сообщений: 377
    Evolex_
    Так )) нет ))) я не могу сейчас этой ерундой заниматься ))) все что надо мне было я понял, сейчас более приоритетные вещи есть ))) через пару дней, может, вернусь )))))

    Меня огорчает, что DWA ни разу не аналог по своей функциональности и структуре драйверу баз данных.

    P.S. Как и авторы тем.

    P.P.S. Это был юмор.
    4 сен 18, 15:23    [21664172]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Всем привет.
    Dimodelo согласились сделать демонстрацию по вопросам.
    Не могу найти средство чтобы сделать голосование с возможностью добавления вопросов (добавления больше одного вопроса) - посоветует кто что может? ))). Чтобы не как тут происходит все пишут и считают что у них самое оригинальное мнение ни на кого не похожее )) а чтобы те кто самые оригинальные получили меньше всего шансов получить ответ на вопросы ))) а те кто сформулировал вопрос который возник и у других получили бы максимальную вероятность ответа ))))
    6 сен 18, 01:35    [21666454]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    George Nordic
    Member

    Откуда: Moscow
    Сообщений: 1046
    Evolex_, создайте новую тему, при создании под "Тема" с левой стороны будет кнопка "Опрос".

    Это будет web-презентация? Или вживую?

    Если вживую, то с залом на 15-20 человек могу помочь. Давно хотел что-то вроде дискуссионной площадки организовать.

    С Уважением,
    Георгий
    6 сен 18, 10:14    [21666611]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    George Nordic,

    Там нет, Вроде, возможности добавлять вопросы.
    http://www.sql.ru/forum/1302099-a/voprosy-k-demonstracii-dwa-dimodelo

    Вопросы в смысле те кто голосуют должны иметь возможность добавлять )))) То что создающий голосование может добавлять вопросы вроде сомнений не должно вызывать ни у кого )))

    Я спросил ребят на всякий случай собираются ли они в Москву из Австралии но мне кажется не тот масштаб события )))
    6 сен 18, 14:28    [21667004]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    George Nordic,

    Dimodelo говорят спасибо за предложение помощи с залом, но в этот раз планируется онлайн демонстрация GoToMeeting.
    6 сен 18, 18:48    [21667398]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Всем привет.
    Голосуем )))
    http://www.rkursem.com/poll/view.php?id=72d2816ffbd66d455

    К сообщению приложен файл. Размер - 34Kb
    12 сен 18, 17:38    [21672549]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Текущий статус ))))

    Тема "DWA в России" застопорилась в момент когда народу были предложены "демократические выборы" - вероятно, из-за неявки/принципиального не понимания электоратом что это такое )))))))

    Для выборов использовалось средство (следующий этап в демократических выборах, когда выбирающие могут добавлять свои варианты)
    https://softwarerecs.stackexchange.com/questions/13467/online-poll-that-lets-users-add-new-options

    На текущий момент проголосовало 2 человека, одним человеком был добавлен один свой вариант )))

    К сообщению приложен файл. Размер - 36Kb
    18 сен 18, 19:26    [21678634]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: 1 2 3 4      [все]
    Все форумы / OLAP и DWH Ответить