Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 [6] 7   вперед  Ctrl      все
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3883
Jurii
Рано или поздно возникает нестандартная задача и если вы не имеете доступа к его коду, то не можете этот кастомный вопрос решить и начинают возникать жуткие костыли.

Доступ к коду в решениях класса DWA - это решаемый вопрос.


Здравствуйте, Юрий. Если решаемый, то хорошо. Если не решаемый, то плохо
18 дек 18, 13:11    [21766970]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
alexdr
Member

Откуда:
Сообщений: 218
tarrus
Это же был сарказм.

Именно :) Спасибо. Даже не понимаю, как это иначе можно было истолковать.
18 дек 18, 13:34    [21767016]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3883
Evolex_,

А какого объёма данные вы обрабатывали с помощью DWA. Потому что много разговоров, а потом выясняется, речь идет о 2-5 миллионах строк в самой большой таблице. При сотнях лямов, лярдах это динамическое SCD2 ляжен, вам доступ к системам источникам просто закроют, если вы будете там полные сканы делать, вычисляя SCD2 .
18 дек 18, 16:03    [21767318]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
.Евгений
Member

Откуда:
Сообщений: 481
a_voronin
Я так заявляю, потому что наша команда по факту выиграла конкуренцию с альтернативным решением на DWA инструменте, который как раз не позволял гибко настраивать показатели под потребности бизнеса.

Несмотря на свой скептицизм по отношению к DWA в целом и адепту этого культа в частности, я не могу согласиться с этим аргументом.
1. Это один частный случай. Неполное индуктивное умозаключение, слабая доказательность. Увидев одно, увидел все, ага.
2. Весьма затруднительно определить действительную причину провала Ханы, тем более сейчас. Возможен целый ряд причин, не связанных с инструментом, например: внедренцы могли не справиться, могли быть введены в заблуждение бизнесом, могли различаться требования к решениям, и т.п.
3. Гибкость решения в отношении к потребностям бизнеса - не идол и не предмет поклонения. Решение без жесткого архитектурного костяка - это бесформенный кусок протоплазмы, ужас для поддержки и доработки из-за повсеместной кастомности и неочевидной внутренней логики.

Лично я считаю, что требование гибкости должно применяться не к решению, а его к архитектору. Именно он должен изогнуться и адаптировать настойчивые требования бизнеса к жесткой архитектуре решения.

P.S. Соглашаюсь с тем, что проблема DWA - это проблема расширяемости. Если инструмент DWA сможет покрывать 90% потребностей стандартным функционалом и 10% - кастомными расширениями, то я на месте встану на колени, признаюсь ему в любви и предложу руку и сердце до конца жизни.
a_voronin
Evolex_,

А какого объёма данные вы обрабатывали с помощью DWA. Потому что много разговоров, а потом выясняется, речь идет о 2-5 миллионах строк в самой большой таблице. При сотнях лямов, лярдах это динамическое SCD2 ляжен, вам доступ к системам источникам просто закроют, если вы будете там полные сканы делать, вычисляя SCD2 .

Более трех месяцев назад я задавал аналогичный вопрос, так и оставшийся без ответа:
Но вернемся к элементарной задаче ХД - разрешению идентификатора. Загрузка обновляет некую сущность ХД порцией строк. Как эффективно выбрать для каждой строки порции стратегию обновления (Insert/Update/Delete/Ignore)? Примечание: мелочь неинтересна, пусть сущность содержит от 100 млн. строк, порция - от 100 тыс. Каким образом ETL (не ELT!) сопоставить указанные количества бизнес-ключей?
18 дек 18, 16:43    [21767385]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3883
.Евгений,

ты же пришел позже всей этой катавасии с САП ХАНО'Й. Я вот застал разгон команды.
18 дек 18, 16:51    [21767393]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3883
[quot .Евгений]
Более трех месяцев назад я задавал аналогичный вопрос, так и оставшийся без ответа:
Но вернемся к элементарной задаче ХД - разрешению идентификатора. Загрузка обновляет некую сущность ХД порцией строк. Как эффективно выбрать для каждой строки порции стратегию обновления (Insert/Update/Delete/Ignore)? Примечание: мелочь неинтересна, пусть сущность содержит от 100 млн. строк, порция - от 100 тыс. Каким образом ETL (не ELT!) сопоставить указанные количества бизнес-ключей?


Допустим есть CDC или ROWVERSION или архив с CSV, как дальше действуем?
18 дек 18, 16:53    [21767396]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
.Евгений
Member

Откуда:
Сообщений: 481
a_voronin
.Евгений,
ты же пришел позже всей этой катавасии с САП ХАНО'Й. Я вот застал разгон команды.

Вот именно, потому и говорю - я не знаю реальной причины. У тебя, вероятно, есть своя версия. У внедренцев, возможно, своя. Но не думаю, что кому-то было интересно докопаться до реальной причины провала. Ну не то место, не те люди...
[quot a_voronin]
.Евгений
Допустим есть CDC или ROWVERSION или архив с CSV, как дальше действуем?

Лично я в последнее время испытываю кайф от шины как источника данных, как кот от валерьянки. Свобода от потрохов источников в обмен на мелкие проблемы с хранением и индексацией XML - это ли не счастье? Поток из систем-источников я прогоняю через собственноручно написанный пополняемый кеш в памяти, соответствующий нужным полям ХД, аналогично лукапу. Работает быстро, но хранить в памяти данные по всем строкам не хочется. Поэтому буду работать над кешем дальше.
До этого для непосредственного сравнения предпочитал Outer Merge Join внутри ETL, когда была возможность сортировки данных на стороне системы-источника (с ХД обычно проще).
18 дек 18, 17:19    [21767440]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3086
Рано или поздно возникает нестандартная задача и если вы не имеете доступа к его коду, то не можете этот кастомный вопрос решить и начинают возникать жуткие костыли.
Доступ к коду в решениях класса DWA - это решаемый вопрос.
Здравствуйте, Юрий. Если решаемый, то хорошо. Если не решаемый, то плохо


Своими руками я не раз кастомизировал код Исина, выполняющего функции DWA.
По другим вопросам по поводу объемов данных - есть единичные компании с очень большими объемами данных, для этих компаний использование DWA может оказаться менее разумным, чем нанять команду экспертов класса Homo sapiens. Если работать над повышением ВВП России, то нужно одновременно выполнять тысячи проектов DWH/BI, и эксперты не смогут масштабироваться. А вот искусственный интеллект сможет легко. И у большинства предприятий объемы данных не так велики.
18 дек 18, 18:02    [21767504]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 312
Так, в прошлый раз все "покажите ну а как а что да это не правда" резко закончились когда предложил сформулировать список вопросов для демонстрации. В списке вопросов есть демонстрация работы больших persistent staging, кстати, можете проголосовать (это большие SCD2 на входе в хранилище )))) у меня есть информация что есть примеры с терабайтами в одной таблице SQL Server ))) можем повторить процесс )))) ниже голосование за список вопросов для демонстрации DWA ))) (только что добавил "plans for big data clusters support")

Evolex_
Всем привет.
Голосуем )))
http://www.rkursem.com/poll/view.php?id=72d2816ffbd66d455
19 дек 18, 23:16    [21768979]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 168
Evolex_
Так, в прошлый раз все "покажите ну а как а что да это не правда" резко закончились когда предложил сформулировать список вопросов для демонстрации. В списке вопросов есть демонстрация работы больших persistent staging, кстати, можете проголосовать (это большие SCD2 на входе в хранилище )))) у меня есть информация что есть примеры с терабайтами в одной таблице SQL Server ))) можем повторить процесс )))) ниже голосование за список вопросов для демонстрации DWA ))) (только что добавил "plans for big data clusters support")

Evolex_
Всем привет.
Голосуем )))
http://www.rkursem.com/poll/view.php?id=72d2816ffbd66d455

боюсь никому не интересны самопальные скриптики от компании студентов, поленившихся даже документацию написать.
где техническая документация ?
20 дек 18, 11:36    [21769287]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 312
H5N1,

"Никому не интересны"
Я не против ))))))
20 дек 18, 11:46    [21769299]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3883
Evolex_
Так, в прошлый раз все "покажите ну а как а что да это не правда" резко закончились когда предложил сформулировать список вопросов для демонстрации. В списке вопросов есть демонстрация работы больших persistent staging, кстати, можете проголосовать (это большие SCD2 на входе в хранилище )))) у меня есть информация что есть примеры с терабайтами в одной таблице SQL Server ))) можем повторить процесс )))) ниже голосование за список вопросов для демонстрации DWA ))) (только что добавил "plans for big data clusters support")

Evolex_
Всем привет.
Голосуем )))
http://www.rkursem.com/poll/view.php?id=72d2816ffbd66d455


Вот вам две задачи из реальной практики
1) Есть User (UserId) Orders (OrderId, UserId, Date) Refunds(OrderId, Date)

-- объем 300 лямов

Пользователь Заказ Возврат

Надо сделать таблицу фактов заказов с измерением "порядковый номер заказа" пользователя. Fact.Orders(OrderId, UserId, UserOrderNumber) При возврате, последовательность должна пересчитываться, чтобы исключить возврат.

Поступление заказов по порядку Date не гарантируется.

2) Есть PriceBase(SKU, StartDate, Price_RU, Price_KZ, Price_BY), BaseDiscountPrice(SKU, StartDate, EndDate, Price_RU, Price_KZ, Price_BY), DiscountPrice(SKU, StartDate, EndDate, Price_RU, Price_KZ, Price_BY) -- объем 100 лямов

Приоритет цены 1) DiscountPrice 2) BaseDiscountPrice 3) PriceBase

В таблице PriceBase есть дубли и повторы (также цена на более позднюю дату). Необходимо получить SCD2 по ценам -- для каждого SKU историю цен без дублей и повторов. Поступление по порядку не гарантируется.
20 дек 18, 12:25    [21769353]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 312
a_voronin,

Даже вчитываться не буду )))
Хотите ответ - переводите на ангийский, добавляете заголовок в список вопросов (вместе с ссылкой на перевод всего вопроса, видимо). Как набирается какое-то существенное количество вопросов/проголосовавших делаем демонстрацию ))

Ну и я всем напоминаю ) вы всегда можете напрямую спросить что хотите всех 26 (минимум) представителей рынка DWA.
20 дек 18, 12:52    [21769399]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
.Евгений
Member

Откуда:
Сообщений: 481
Evolex_
a_voronin,

Даже вчитываться не буду )))
Хотите ответ - переводите на ангийский, добавляете заголовок в список вопросов (вместе с ссылкой на перевод всего вопроса, видимо). Как набирается какое-то существенное количество вопросов/проголосовавших делаем демонстрацию ))

Ну и я всем напоминаю ) вы всегда можете напрямую спросить что хотите всех 26 (минимум) представителей рынка DWA.

Не смог удержаться под Новый Год
Картинка с другого сайта.
20 дек 18, 12:57    [21769412]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 830
.Евгений
Evolex_
a_voronin,

Даже вчитываться не буду )))
Хотите ответ - переводите на ангийский, добавляете заголовок в список вопросов (вместе с ссылкой на перевод всего вопроса, видимо). Как набирается какое-то существенное количество вопросов/проголосовавших делаем демонстрацию ))

Ну и я всем напоминаю ) вы всегда можете напрямую спросить что хотите всех 26 (минимум) представителей рынка DWA.

Не смог удержаться под Новый Год
Картинка с другого сайта.


Опередил!
20 дек 18, 12:58    [21769414]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 312
Расширяем определение ))))

Люди, которые в IT темах рассуждают про зло, бороду бога, слонов, серебряные пули и рептилоидов )))

А так же те которые Прут на бизнес "логикой" ))))) а понимание деталей рынка DWA полностью вытеснило слово /мотороллер/ )))
20 дек 18, 13:09    [21769437]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3883
Evolex_
a_voronin,

Даже вчитываться не буду )))
Хотите ответ - переводите на ангийский, добавляете заголовок в список вопросов (вместе с ссылкой на перевод всего вопроса, видимо). Как набирается какое-то существенное количество вопросов/проголосовавших делаем демонстрацию ))

Ну и я всем напоминаю ) вы всегда можете напрямую спросить что хотите всех 26 (минимум) представителей рынка DWA.


В общем очередная оторванная от практики болтовня, рассчитанная на пускание бизнесу пыли в глаза с целью продать коробку с "решением" и умыть руки.
20 дек 18, 13:22    [21769455]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
.Евгений
Member

Откуда:
Сообщений: 481
DWA, вы в ответе за тех, кого приручили...

С одной стороны, человек старательно пытается поддержать интерес к DWA. Например, рассказывает, как нажатием кнопки генерировал 3х уровневое хранилище.
С другой стороны, он ни единого разу не попытался приложить поставленные перед ним примеры задач (отмечу: явно не высокой сложности) на эти 3 уровня ХД. Я уж не говорю о том, чтобы продемонстрировать работающее решение. Хотя именно это и интересует присутствующих здесь.

Выводы относительно человека и DWA каждый может сделать самостоятельно.
20 дек 18, 13:41    [21769482]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 830
.Евгений
DWA, вы в ответе за тех, кого приручили...

С одной стороны, человек старательно пытается поддержать интерес к DWA. Например, рассказывает, как нажатием кнопки генерировал 3х уровневое хранилище.
С другой стороны, он ни единого разу не попытался приложить поставленные перед ним примеры задач (отмечу: явно не высокой сложности) на эти 3 уровня ХД. Я уж не говорю о том, чтобы продемонстрировать работающее решение. Хотя именно это и интересует присутствующих здесь.

Выводы относительно человека и DWA каждый может сделать самостоятельно.


Ну, что же вы так сразу. А как же искрометный юмор и доброжелательные смайлики?
20 дек 18, 13:45    [21769490]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3883
.Евгений
DWA, вы в ответе за тех, кого приручили...

С одной стороны, человек старательно пытается поддержать интерес к DWA. Например, рассказывает, как нажатием кнопки генерировал 3х уровневое хранилище.
С другой стороны, он ни единого разу не попытался приложить поставленные перед ним примеры задач (отмечу: явно не высокой сложности) на эти 3 уровня ХД. Я уж не говорю о том, чтобы продемонстрировать работающее решение. Хотя именно это и интересует присутствующих здесь.

Выводы относительно человека и DWA каждый может сделать самостоятельно.


Да вот такую коробку с САП ХАНО'Й и продали потратив кучу денег базнеса, а как возникла задача что-то нетривиальное посчитать вроде оборачиваемости склада или эффективности скидок, так сказали, что мы такого не могём, потому как этого в коробке нет, а допилить не получится.
20 дек 18, 13:48    [21769494]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3883
tarrus
.Евгений
DWA, вы в ответе за тех, кого приручили...

С одной стороны, человек старательно пытается поддержать интерес к DWA. Например, рассказывает, как нажатием кнопки генерировал 3х уровневое хранилище.
С другой стороны, он ни единого разу не попытался приложить поставленные перед ним примеры задач (отмечу: явно не высокой сложности) на эти 3 уровня ХД. Я уж не говорю о том, чтобы продемонстрировать работающее решение. Хотя именно это и интересует присутствующих здесь.

Выводы относительно человека и DWA каждый может сделать самостоятельно.


Ну, что же вы так сразу. А как же искрометный юмор и доброжелательные смайлики?


Раз-два-три четыре пять
DWA идем пилять,
Це решение крутое,
Всё пульнём одной ногою.

Как увидим мы проблему,
Так мы сразу сменим тему,
Нам не нужно усложнять,
Нужно бабки с ниши снять.
20 дек 18, 13:51    [21769501]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
.Евгений
Member

Откуда:
Сообщений: 481
a_voronin
как возникла задача что-то нетривиальное посчитать вроде оборачиваемости склада или эффективности скидок, так сказали, что мы такого не могём, потому как этого в коробке нет, а допилить не получится.

Именно так ни один вменяемый внедренец не скажет. Даже если он будет внедрять calc.exe. Для САПа, на кастомизации которого консультанты рубят запредельные бабки, это вообще из ряда вон.
Вот если денег выделили только на коробку или консультанты типа некоторых присутствующих здесь (понятно, кого я имею в виду) - тогда да, такое услышать вполне реально.
tarrus
Ну, что же вы так сразу. А как же искрометный юмор и доброжелательные смайлики?

От ваших слов я на мгновение почувствовал себя Брейвиком: в руках карабин, под мышкой пистолет, много патронов с пропилами и целый остров консультантов типа некоторых присутствующих здесь. Да-да, доброжелательный смайлик на лице и искрометный юмор из дула!
20 дек 18, 14:07    [21769538]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 312
Evolex_
.Евгений,

У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует )))
Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны ))))))))



Кстати, может вообще тему закроем? )))) я - за )))))
20 дек 18, 14:31    [21769584]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 3883
Evolex_
Evolex_
.Евгений,

У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует )))
Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны ))))))))



Кстати, может вообще тему закроем? )))) я - за )))))


А баба яга против ))))
20 дек 18, 14:34    [21769597]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 312
Модератору написал о закрытии (ни разу тему не закрывал - не знаю как это делается) если кто знает как - подскажите )))))
20 дек 18, 14:39    [21769608]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 [6] 7   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить