Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Регрессионное тестирование хранилища  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
Ищу способ оценивать влияние разработки на хранилище .. Кто нить раскроет инфу по своим лучшим практикам ?
2 авг 17, 11:22    [20694233]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Jack Carver
Member

Откуда: obi2ru.blogspot.com
Сообщений: 1691
DbFit
2 авг 17, 11:52    [20694423]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 4597
[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]
2 авг 17, 12:51    [20694660]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
Sintetik,

Ок. про деньги тоже интересно ) но больше всего болит о том как проверить что новая разработка не сломает замок на костылях , который возник в прошлый раз
2 авг 17, 13:52    [20694895]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
Sintetik
[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]



для инфо - в науке готворят - чем больше делаешь - тем меньше должен времени тратить

http://baguzin.ru/wp/?p=2222
2 авг 17, 14:08    [20694955]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 4597
essbase.ru
Sintetik
[новый срок разработки] = [старый срок] * [количество изменений схемы в неделю]



для инфо - в науке готворят - чем больше делаешь - тем меньше должен времени тратить

http://baguzin.ru/wp/?p=2222

может мы о разном? я про опыт когда исходные системы откуда тащили данные в ХД быстро изменялись, и менялись не нами
2 авг 17, 14:46    [20695071]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3534
essbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД
8 авг 17, 17:39    [20709140]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31048
Блог
a_voronin,

только удобство работы будет околонулевое
8 авг 17, 17:49    [20709164]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Гулин Федор
Member

Откуда: МИНСК
Сообщений: 901
Jack Carver
DbFit

а пару слов как что и зачем ?
кто пишет тесты как они запускаются (автоматически через какой-то CI )
и т.д и т.п
поделитесь плз опытом ( можно без деталей - общая схема плюсы и минусы)
8 авг 17, 17:52    [20709168]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4641
как говорится: "мопед не мой..."
тестирование ХД в Тинькофф
8 авг 17, 19:27    [20709329]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
a_voronin
essbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД


Да меня тоже заинтересовал cпич архитектора из AVITO. Такой жесткий PR заставляет задуматься .( и для новго проекта я тоже это попробую )

* осталось придумать как развивать старье ) вот ради этого и подпрыгиваю.
8 авг 17, 21:39    [20709508]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Полковник.
Member

Откуда:
Сообщений: 1606
essbase.ru
a_voronin
essbase.ru,

Мы начали смотреть в сторону Anchor Modeling aka 6th Normal Form

Эта концепция ориентирована на частые изменения в ХД


Да меня тоже заинтересовал cпич архитектора из AVITO. Такой жесткий PR заставляет задуматься .( и для новго проекта я тоже это попробую )

* осталось придумать как развивать старье ) вот ради этого и подпрыгиваю.


Data Vault то чем не угодил? Любое нормализованное ХД поддерживает изменения, даже простая 3NF.

Встречал такого Гопова, который затеял анкер в одном из банков, уж не знаю ради чего, подозреваю, что ради собственных амбиций. Идея провалилась, архитектор сбежал, люди которые остались переделывали все это на звезду-снежинку.

А ведь есть ещё и "голандская" модель КХД.
9 авг 17, 07:56    [20709791]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
Полковник.
Идея провалилась

эх.. анализ провала бы найти и почитать )
9 авг 17, 13:54    [20710780]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4641
essbase.ru
эх.. анализ провала бы найти и почитать )
ну а чего там читать :)
что DataVault, что Anchor разбивает бизнес сущность на много объектов и на этапе построения денормализованной витрины у вас начинается "ад" (ad-hoc ту да же).
это как EAV... нужно стараться избегать пока возможно и использовать когда припрёт (понимая все плюсы\минусы).
когда у вас большое ХД и частые изменения структуры (добавление сущностей, атрибутов и тд), то деваться некуда и приходится идти по этому пути "мышей с кактусом".
9 авг 17, 14:22    [20710883]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Voyager_lan
Member

Откуда:
Сообщений: 1437
Дедушка
essbase.ru
эх.. анализ провала бы найти и почитать )
ну а чего там читать :)
что DataVault, что Anchor разбивает бизнес сущность на много объектов и на этапе построения денормализованной витрины у вас начинается "ад" (ad-hoc ту да же).
это как EAV... нужно стараться избегать пока возможно и использовать когда припрёт (понимая все плюсы\минусы).
когда у вас большое ХД и частые изменения структуры (добавление сущностей, атрибутов и тд), то деваться некуда и приходится идти по этому пути "мышей с кактусом".

От себя добавлю. Для долгоиграющих проектов (так сказать, "есть слона по кускам" несколько лет) оное актуально, т.к. ТЗ уже раз 10 устареет пока напишешь плюс сокращение времени на доработку ETL/DWH. Расплата же все равно настигент на этапе построения денормализованной витрины :) Но оно того будет стоить.
Ежели скоуп известен заранее, то Kimball рулит, т.к. все преимужества Anchor / DV modelling будут несущественны.
9 авг 17, 17:30    [20711554]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
sergei_go
Member

Откуда: BETWEEN SPB AND MSC
Сообщений: 206
Полковник.,
Не амбиций, а ради реалий, когда ресурсов на работу с требованиями внутри заложено не было, а внешний подрядчик обладал экспертизой студентов.
Не амбиций, а ради итерационного постепенного развития.
Не оставшиеся люди, а вновь пришедшие, которые не смогли понять идею.
Там не просто Anchor был, а bitemporal Anchor.
Безусловно Anchor, как и любой другой подход, уместен при определённых вводных, и должен сказать при высоком уровне автоматизации. В AVITO, как раз, это и сделали. В противном случае очень много рутины.
9 авг 17, 18:14    [20711692]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
essbase.ru
Member

Откуда: http://essbase.ru/about
Сообщений: 1390
sergei_go
при высоком уровне автоматизации

автоматизация чего?
* очень странный посыл - априори - хранилище это не про ручной ввод ))
9 авг 17, 20:23    [20711919]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4641
essbase.ru
автоматизация чего?
пример:
ХД DataVault на mssql (около 1000 таблиц)
ETL на ssis (около 1000 пакетов)
автоматизация - построение ETL biml-ом по метаданным, а не руками
9 авг 17, 22:49    [20712199]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31048
Блог
Дедушка
автоматизация - построение ETL biml-ом по метаданным, а не руками


имеет ли смысл такая автоматизация?
девочку-студентку нанять за 30 тыр, она за месяц всю тысячу сделает,

а с biml`ом требования к разработчику повышаются, а раз так, то и зп ему нужно большую платить
9 авг 17, 23:04    [20712224]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3470
Критик
Дедушка
автоматизация - построение ETL biml-ом по метаданным, а не руками


имеет ли смысл такая автоматизация?
девочку-студентку нанять за 30 тыр, она за месяц всю тысячу сделает,

а с biml`ом требования к разработчику повышаются, а раз так, то и зп ему нужно большую платить


телефончик той студентки дадите?
10 авг 17, 00:17    [20712284]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
sergei_go
Member

Откуда: BETWEEN SPB AND MSC
Сообщений: 206
essbase.ru,
Дедушка уже ответил.
Критик,
человеческий фактор никто не отменял, девочку найти нужно, за девочкой следить нужно.
Да есть на рынке уже автоматизация ETL, и для Anchor, и для DataVault - этим они и хороши, но в отличии от от DataVault, где можно себе волю дать в объединении атрибутов, AM содержит более строгие правила для создания модели.
Как и везде свои плюсы, свои минусы.
10 авг 17, 01:09    [20712314]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
HF
Member

Откуда:
Сообщений: 27
Voyager_lan,

Про расплату можно подробнее? Кроме серьезных требований к железу, для построения витрин, какие еще последствия?
11 авг 17, 12:41    [20716425]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3268
Дедушка
essbase.ru
автоматизация чего?
пример:
ХД DataVault на mssql (около 1000 таблиц)
ETL на ssis (около 1000 пакетов)
автоматизация - построение ETL biml-ом по метаданным, а не руками

м-м-м-м.... а можно было настроить простую репликацию.....
11 авг 17, 13:41    [20716722]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3268
HF
Voyager_lan,

Про расплату можно подробнее? Кроме серьезных требований к железу, для построения витрин, какие еще последствия?

частые изменения структуры - получи частую ручную переделку витрин.
11 авг 17, 13:42    [20716730]     Ответить | Цитировать Сообщить модератору
 Re: Регрессионное тестирование хранилища  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3268
Дедушка
как говорится: "мопед не мой..."
тестирование ХД в Тинькофф

по факту там смоук теститнг - накатили изменения - весь etl не упал - хорошо. Регрес пройден
11 авг 17, 13:46    [20716748]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить