Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 [5] 6 7   вперед  Ctrl      все
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3932
Отправил случайно

Evolex_
На текущий момент dwa нацелены на Data Vault и некоторые новые средства даже не имеют возможности создавать обычные хранилища. Есть opensource решения. Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.



Я занимаюсь DWH 10 и скажу одно и пробовал уже даже не Data Vault, а Anchor Model. Сгенерить несколько сотен таблиц и пакетов загрузки не есть сложная задача. Самая сложная задача -- это дополнять и менять их. Никому не интересно слышать о DROP CREATE

Допустим добавить парочку новых показателей или несколько аттрибутов в справочники. Это возможно?
А как насчет того, чтобы сменить бизнес ключ с INT на BIGINT на таблице в 1 лярд строк не перегружая её, где ALTER TABLE ляжет?
13 дек 18, 17:11    [21763253]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Полковник.
Member

Откуда:
Сообщений: 1853
a_voronin,

Коллега, вижу что вы не постигли мудрости анкера или дата вольта. Таблицы там не меняются, никаких альтер тейблов, они так и остаются жить вечно, рядом с ними просто создаются новые, а старые исключают из загрузки.
14 дек 18, 08:53    [21763641]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3932
Полковник.
a_voronin,

Коллега, вижу что вы не постигли мудрости анкера или дата вольта. Таблицы там не меняются, никаких альтер тейблов, они так и остаются жить вечно, рядом с ними просто создаются новые, а старые исключают из загрузки.



Я-то как раз постиг их мудрость, и не раз наращивал хранилище без удаление старых данных. А спрашивал я про способности системы, которую продвигает автор.
14 дек 18, 12:01    [21763861]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3932
Полковник.
a_voronin,

Коллега, вижу что вы не постигли мудрости анкера или дата вольта. Таблицы там не меняются, никаких альтер тейблов, они так и остаются жить вечно, рядом с ними просто создаются новые, а старые исключают из загрузки.


Я скажу больше, Товарищ Полковник, если я правильно понял, кто -- Вы, то я довел до ума проект от которого Вы отказались.
14 дек 18, 12:16    [21763879]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 314
a_voronin,

Я про это писал )))
Мне кажется вы не правильно понимаете ситуацию
на вопросы про то как что именно работает мне отвечать не очень интересно ))) у меня была своя цель - что надо мне было я получил )))

в качестве жеста доброй воли что-то даже пообсуждал ))) и после выражения заинтересованности участников форума предложил, даже, организовать демонстрацию для ответов на вопросы ))) насколько я понимаю кто хоть что-то понял про DWA из этой темы уже втихую этим начали заниматься ))) я даже удивляюсь как в тихую и как оперативно люди задвигались - из разных источников информация приходит ))))))

одна из гипотез почему все так втихую - если официально открыто заявлять о рассмотрении DWA может быть выдворена вся команда которая получала большие деньги за ручную работу, для автоматизации которой уже годы существует целый рынок ))) части стейкхолдеров (особенно ангажированных с исполнителем) такое развитие событий тоже неинтересно ))) но процесс пошел ))) и рано или поздно DWA придет и люди это понимают и обеспечивают плавный незаметный процесс перехода ))))) формулировки и обоснования при этом процессе, веротяно (раньше видел), это тот еще эпистолярный жанр типа "времена меняются, необходимости не было, были другие люди и т.д." ))))
15 дек 18, 00:57    [21764599]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 831
Evolex_
a_voronin,

Я про это писал )))
Мне кажется вы не правильно понимаете ситуацию
на вопросы про то как что именно работает мне отвечать не очень интересно ))) у меня была своя цель - что надо мне было я получил )))

в качестве жеста доброй воли что-то даже пообсуждал ))) и после выражения заинтересованности участников форума предложил, даже, организовать демонстрацию для ответов на вопросы ))) насколько я понимаю кто хоть что-то понял про DWA из этой темы уже втихую этим начали заниматься ))) я даже удивляюсь как в тихую и как оперативно люди задвигались - из разных источников информация приходит ))))))

одна из гипотез почему все так втихую - если официально открыто заявлять о рассмотрении DWA может быть выдворена вся команда которая получала большие деньги за ручную работу, для автоматизации которой уже годы существует целый рынок ))) части стейкхолдеров (особенно ангажированных с исполнителем) такое развитие событий тоже неинтересно ))) но процесс пошел ))) и рано или поздно DWA придет и люди это понимают и обеспечивают плавный незаметный процесс перехода ))))) формулировки и обоснования при этом процессе, веротяно (раньше видел), это тот еще эпистолярный жанр типа "времена меняются, необходимости не было, были другие люди и т.д." ))))


Мда... Опять проклятые рептилойды... А как вы выбираете сколько смайликов поставить? Я что-то запутался, что означает три смайлика, а что шесть.
15 дек 18, 14:39    [21764810]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 314
tarrus,

Расширяем определение ))
Люди, которые в IT темах рассуждают про зло, бороду бога, слонов, серебряные пули и рептилоидов )))

Можно, в принципе, еще добавить Прут на бизнес "логикой" )))))
15 дек 18, 14:53    [21764815]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 314
С скобками, кстати, интересная тема )))
Why do Russians use ")" as a smiley instead of ":)"?
15 дек 18, 14:55    [21764816]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3932
Evolex_
a_voronin,

Я про это писал )))
Мне кажется вы не правильно понимаете ситуацию
на вопросы про то как что именно работает мне отвечать не очень интересно ))) у меня была своя цель - что надо мне было я получил )))

в качестве жеста доброй воли что-то даже пообсуждал ))) и после выражения заинтересованности участников форума предложил, даже, организовать демонстрацию для ответов на вопросы ))) насколько я понимаю кто хоть что-то понял про DWA из этой темы уже втихую этим начали заниматься ))) я даже удивляюсь как в тихую и как оперативно люди задвигались - из разных источников информация приходит ))))))

одна из гипотез почему все так втихую - если официально открыто заявлять о рассмотрении DWA может быть выдворена вся команда которая получала большие деньги за ручную работу, для автоматизации которой уже годы существует целый рынок ))) части стейкхолдеров (особенно ангажированных с исполнителем) такое развитие событий тоже неинтересно ))) но процесс пошел ))) и рано или поздно DWA придет и люди это понимают и обеспечивают плавный незаметный процесс перехода ))))) формулировки и обоснования при этом процессе, веротяно (раньше видел), это тот еще эпистолярный жанр типа "времена меняются, необходимости не было, были другие люди и т.д." ))))


С готовыми DWA проблема следующая. Рано или поздно возникает нестандартная задача и если вы не имеете доступа к его коду, то не можете этот кастомный вопрос решить и начинают возникать жуткие костыли.

Что-то не решается через SCD2 или версионированные исторические/темпоральные таблицы. И возникает понимание того, что это быстрее написать самомму, чем настраивать этот суперинструмент.
17 дек 18, 11:45    [21765755]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tunknown
Member

Откуда:
Сообщений: 657
a_voronin
И возникает понимание того, что это быстрее написать самомму, чем настраивать этот суперинструмент.
Вы понимаете, что такими заявлениями подрываете всю индустрию. А если молодёжь услышит? Сарказм/Офф
18 дек 18, 09:28    [21766600]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3091
Рано или поздно возникает нестандартная задача и если вы не имеете доступа к его коду, то не можете этот кастомный вопрос решить и начинают возникать жуткие костыли.

Доступ к коду в решениях класса DWA - это решаемый вопрос.
18 дек 18, 09:32    [21766604]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 314
Я без крайней необходимости не отвечаю на заявления о том что кто-то что-то сделает сам и лучше чем сделали в коммерческом приложении - ни разу не видел чтобы что-то не смешное после этого появлялось ))))))
18 дек 18, 12:04    [21766822]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3932
tunknown
a_voronin
И возникает понимание того, что это быстрее написать самомму, чем настраивать этот суперинструмент.
Вы понимаете, что такими заявлениями подрываете всю индустрию. А если молодёжь услышит? Сарказм/Офф



Я так заявляю, потому что наша команда по факту выиграла конкуренцию с альтернативным решением на DWA инструменте, который как раз не позволял гибко настраивать показатели под потребности бизнеса.

И да пусть молодежь слышит. И да пусть индустрия впаривания коробочных DWA будет подорвана. И да будут славны те, умеет писать OVER PARTITION BY ROWS UNBOUNDED PRECEDING. И да будут унижены те, кто скрывает свою нелюбовь к базам за Code First коробочных приблуб и бояться заглянуть в базу.
18 дек 18, 12:10    [21766838]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3932
Evolex_
Я без крайней необходимости не отвечаю на заявления о том что кто-то что-то сделает сам и лучше чем сделали в коммерческом приложении - ни разу не видел чтобы что-то не смешное после этого появлялось ))))))


А я вот не видел, чтобы в коммерческом приложении что-то путное было сделано, кроме болтовни и траты денег.
18 дек 18, 12:11    [21766839]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 314
a_voronin,

Кстати, с чем именно у вас связаны эмоции которые вы выражаете печатая
OVER PARTITION BY ROWS UNBOUNDED PRECEDING
18 дек 18, 12:15    [21766850]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 314
a_voronin,

Какой именно DWA инструмент вы забороли? ))))
18 дек 18, 12:20    [21766862]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3932
Evolex_
a_voronin,

Кстати, с чем именно у вас связаны эмоции которые вы выражаете печатая
OVER PARTITION BY ROWS UNBOUNDED PRECEDING


С тем, что гигансткие проекты по кодированию связаны с неспособностью некоторых разработчиков решить задачу одним правильным запросом.
18 дек 18, 12:21    [21766864]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3932
Evolex_
a_voronin,

Какой именно DWA инструмент вы забороли? ))))


SAP HANA
18 дек 18, 12:22    [21766866]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3932
Evolex_
a_voronin,

Какой именно DWA инструмент вы забороли? ))))


Скорее всего речь шла вот об этом. https://en.wikipedia.org/wiki/SAP_NetWeaver_Business_Warehouse

Мы разрабатывали на линейке MS SQL 2014 SSAS SSIS SSRS потом добавилась Вертика . Мы не гнушались писать CREATE TABLE руками, но и утилиты я лично писал по генерации кода.
18 дек 18, 12:27    [21766876]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
alexdr
Member

Откуда:
Сообщений: 220
Evolex_
...кто-то что-то сделает сам и лучше чем сделали в коммерческом приложении - ни разу не видел чтобы что-то не смешное после этого появлялось...

Довольно смелое и безответственное утверждения. "Я не видел" - вообще не аргумент. Свидетельствует исключительно об узости кругозора и скудости опыта.
И да... все шедевры data warehousing были созданы исключительно с помощью DWA, а Kimball, Inmon и иже с ними стоят и нервно курят в сторонке.
Ну, да... ну, да...
18 дек 18, 12:40    [21766902]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 314
alexdr,

Пошел базар-вокзал ))))
Типа я заявляю что DWA против кимбала и инмона )))) ну что за чушь )))))))))
DWA решают вполне конкретные задачи )))) по исключению людей с вполне конкретными недостатками из процесса ))))
18 дек 18, 12:50    [21766925]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 831
Evolex_
С тем что людям, у которых есть [url=https://www.sql.ru/forum/708369/razrabotal-drayver-baz-dannyh-chto-dalshe ]FVMas[/url] DWA не нужно я сразу и безоговорочно соглашаюсь - на всякий случай надо это написать )))


Ну ваши любимые австралийцы на этого парня как раз и смахивают.
18 дек 18, 12:56    [21766948]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 831
Evolex_
alexdr,

Пошел базар-вокзал ))))
Типа я заявляю что DWA против кимбала и инмона )))) ну что за чушь )))))))))
DWA решают вполне конкретные задачи )))) по исключению людей с вполне конкретными недостатками из процесса ))))


Вы исключаете одних, а включаете вообще не понятно кого.
18 дек 18, 12:58    [21766949]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3932
alexdr
Evolex_
...кто-то что-то сделает сам и лучше чем сделали в коммерческом приложении - ни разу не видел чтобы что-то не смешное после этого появлялось...

Довольно смелое и безответственное утверждения. "Я не видел" - вообще не аргумент. Свидетельствует исключительно об узости кругозора и скудости опыта.
И да... все шедевры data warehousing были созданы исключительно с помощью DWA, а Kimball, Inmon и иже с ними стоят и нервно курят в сторонке.
Ну, да... ну, да...


Шедевры? Список можно

И если это и били шедевры, то оно были основаны на Kimball, Inmon, Data Vault, Anchor Model

Сходите в Авито на лекцию по якорной модели -- туда иногда приглашают
18 дек 18, 13:07    [21766963]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 831
a_voronin
alexdr
пропущено...

Довольно смелое и безответственное утверждения. "Я не видел" - вообще не аргумент. Свидетельствует исключительно об узости кругозора и скудости опыта.
И да... все шедевры data warehousing были созданы исключительно с помощью DWA, а Kimball, Inmon и иже с ними стоят и нервно курят в сторонке.
Ну, да... ну, да...


Шедевры? Список можно

И если это и били шедевры, то оно были основаны на Kimball, Inmon, Data Vault, Anchor Model

Сходите в Авито на лекцию по якорной модели -- туда иногда приглашают


Это же был сарказм.
18 дек 18, 13:09    [21766965]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 [5] 6 7   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить