Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 750
Evolex_
tarrus,

А чего тогда пишешь
автор
Я не поддерживаю
? ))))


То есть неитральное отношение в голову не пришло? Обязательно "не понравился"?
30 авг 18, 22:45    [21659479]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,
Итак, от тебя прозвучали все 3 варианта по этому вопросу
автор
Иван сказал дельные вещи

автор
Не поддерживаю (Ивана)

автор
Нейтральное отношение

Надо определяться, мне кажется )))
30 авг 18, 22:47    [21659481]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,
И у меня есть ощущение, что ты меня решил добить после того как я сказал что на ночь нельзя много смеяться ))))
30 авг 18, 22:49    [21659482]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 750
Бумбараш
Evolex_
Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.

А алгоритм преобразования из источника в приёмник откуда берётся?


А на главный вопрос ответа мы так и не получили.
30 авг 18, 22:49    [21659483]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 750
Evolex_
tarrus,
Итак, от тебя прозвучали все 3 варианта по этому вопросу
автор
Иван сказал дельные вещи

автор
Не поддерживаю (Ивана)

автор
Нейтральное отношение

Надо определяться, мне кажется )))


Где противоречие то? У тебя жизнь черно-белая штоли? Сочувствую
30 авг 18, 22:51    [21659484]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,

Начинаются 30%

Главный вопрос:
автор
Есть идеи кроме особенностей классических российских продаж почему у нас не слышно об этом? )))

Главный ответ:
автор
BI Developer + vik + ivan + tarrus: нет и не надо (вообще не надо)

Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

Я + Alexxx : не выгодно тем кто зарабатывает на внедрении решений
30 авг 18, 22:52    [21659486]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Evolex_
tarrus,
Итак, от тебя прозвучали все 3 варианта по этому вопросу
автор
Иван сказал дельные вещи

автор
Не поддерживаю (Ивана)

автор
Нейтральное отношение

Надо определяться, мне кажется )))


tarrus

Где противоречие то? У тебя жизнь черно-белая штоли? Сочувствую

ну то есть тебе нормально по одному вопросу высказать одновременно все 3 мнения, не, я не против, в принципе - нормальный подход )))
30 авг 18, 22:55    [21659489]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
L_argo
Member

Откуда:
Сообщений: 380
а то как показывает практика - время затраченное на освоение всяких сторонних свистулек средств а потом на его использование/поддержку обычно превышает default решение (на которое между прочим толковых и доступных специалистов на рынке труда - толпы), только вот потери на освоение уже не вернуть
+500

А по факту - это еще один уровень абстракции возникающий над данными и их преобразованиями.
+500

Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?
А что же еще ? Судя по тормозам и глюкам современных продуктов, маркетологи уже начали писать код. :)

Ну съэкономим мы 30% от этих 20%. Большой роли не сыграет.
Зато придется вложиться в обучение. Где профит?
+500

ЗЫ: зоопарк технологий - зло. И чем они многочисленнее и экзотичнее - тем зло злее.
"Экономия" на эффективности решения быстро и полностью будет съедена отсутствием квалиф.специалиста в нужный момент или вынужденной миграцией на новый зоопарк. Риски будут намного критичнее скорости и удобства.
1 сен 18, 09:25    [21661031]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
.Евгений
Member

Откуда:
Сообщений: 377
Лично я не вижу смысла в поисках серебряной пули и универсального солдата инструмента. Не только по очевидной причине (разные потребности клиентов). И не потому, что разрабатываю кастомное решение, а не продукт.
Более важна другая причина: потребность разработчика (руководителя разработки) в ощутимой оплате труда. Извините, за нажатие кнопки можно получить оплату один раз, два, ну три. Но потом клиенты просекут фишку, и лафа непременно закончится. Придется уходить из разработчиков ХД куда-то еще.

P.S. Чье-то отсутствие юмора - не моя проблема.

P.P.S. В настоящее время ваяю нестандартную загрузку ХД (нестандартная постановка). В SSIS-пакетах больше половины компонент - скрипты (в первой версии решения скрипты отсутствовали). Не говорите мне сейчас про DWA.
1 сен 18, 12:01    [21661123]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Добавляем мнения )))
BI Developer + vik + ivan + tarrus +L_argo (DWA - это зло) : нет и не надо (вообще не надо)

Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

Я + Alexxx + .Евгений(+серебряная пуля) : не выгодно тем кто зарабатывает на внедрении решений
1 сен 18, 16:03    [21661228]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Voyager_lan
Member

Откуда:
Сообщений: 1456
Evolex_,

В вашу копилку 5 копеек.
Допускаю , что для тиражируемых отраслевых решений эдакий "Starter kit" , возможно, даже необходим, чтобы хоть новички делали на уже основе этого кастомизацию, а не лепили непонятно что.
3 сен 18, 10:02    [21662314]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Shtock
Member

Откуда: СПб
Сообщений: 3035
Завидую Evolex_, что у него есть время делать какую-то статистику. Я так и не понял зачем, но...
3 сен 18, 10:43    [21662369]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Добавляем мнения )))
BI Developer + vik + ivan + tarrus +L_argo (DWA - это зло) +Shtock (смысла нет, вообще нет) : нет и не надо (вообще не надо)

Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

Я + Alexxx + .Евгений(+серебряная пуля) : не выгодно тем кто зарабатывает на внедрении решений
3 сен 18, 12:09    [21662481]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Voyager_lan,

Добоый день ) а не для тиражируемых? ))
3 сен 18, 12:10    [21662483]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
.Евгений
Member

Откуда:
Сообщений: 377
Evolex_,

лучше продемонстрируйте, как некое DWA помогает в разрешении типовых задач ХД - разрешении идентификаторов, очистке данных. Как оно пишет агрегированную статистику выполнения (пакет XXX выполнялся пользователем YYY с timestamp1 по timestamp2, считал n1 строк, из них n2 полезных; отсеял n3 и очистил n4 грязных строк; вставил n5, обновил n6, удалил n7 чистых строк)
Как создает лог с регулируемой детализацией вплоть до прохождения каждой строки через каждый компонент.
Как создает обработчики ошибок выполнения пакетов.

Потому что если DWA этого не делает, то оно мне не нужно.
3 сен 18, 12:40    [21662518]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
.Евгений,

У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует )))
Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны ))))))))
3 сен 18, 13:32    [21662597]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3055
2 Evolex_:

Рекомендую еще добавить, что наличие обученного Исина (в т.ч. с навыками DWA), который работает за еду, достаточно выгодно для тех "кто зарабатывает на внедрении решений", поскольку это сильно снижает себестоимость работ.
При этом, для проектов, которые делает г-н .Евгений , Исина нужно немного дополнительно обучить ;)
3 сен 18, 13:34    [21662602]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
Jurii,

Коллега, полностью с вами согласен в этом утверждении ))
3 сен 18, 13:38    [21662605]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
.Евгений
Member

Откуда:
Сообщений: 377
Evolex_
.Евгений,

У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует )))
Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны ))))))))

Ну пошли-поехали детские обидки. Сначала объясни вам, почему не используют DWA. То вам вообще неинтересно, какие задачи, слегка выходящие за пределы элементарного ETL, могут поставить перед DWA.
С такими нервами слонаDWA не продашь...
Jurii
При этом, для проектов, которые делает г-н .Евгений , Исина нужно немного дополнительно обучить ;)

Как, перед вашим Исином не ставили перечисленных задач? Ну извините, мне сложно считать адекватной загрузку ХД, не реализующей хотя бы половину сказанного.
3 сен 18, 15:48    [21662831]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
.Евгений,
Могу предожить вам убить вашего слона вашей же серебряной пулей, но ко мне эти процессы никакого отношения не имеют )))

По поводу продаж - я не продацец, я делаю решения ))) + поддерживаю текущий тренд на то что продавцов в текущем понимании с их особенностями должно становиться меньше, даже тестировал рекламу - интерес был большой )))))

Еще есть идея что вот те продавцы решают вполне конкретные полезные задачи - помогают людям, которые говорят про зло, слонов и серебряные пули, и продавцы с теми сказочными персонажами вполне вместе нормально могут работать, мне кажется, но я в таком лично не хотел бы участвовать ))))

К сообщению приложен файл. Размер - 13Kb
3 сен 18, 16:06    [21662848]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3055
2 .Евгений:

помогает в разрешении типовых задач ХД - разрешении идентификаторов, очистке данных. Как оно пишет агрегированную статистику выполнения (пакет XXX выполнялся пользователем YYY с timestamp1 по timestamp2, считал n1 строк, из них n2 полезных; отсеял n3 и очистил n4 грязных строк; вставил n5, обновил n6, удалил n7 чистых строк)
Как создает лог с регулируемой детализацией вплоть до прохождения каждой строки через каждый компонент.
Как создает обработчики ошибок выполнения пакетов.
Как, перед вашим Исином не ставили перечисленных задач? Ну извините, мне сложно считать адекватной загрузку ХД, не реализующей хотя бы половину сказанного.


Перед Исином я ставил задачи по правилу 80 на 20 - чтобы достичь максимальной монетизации и роста курса хракойна, высокой производительности когда ХД формируется на основе десятков-сотен и более учетных систем. Исин формирует целочисленные ID, это важно. Поддерживает медленно меняющиеся измерения. Уважает лучшие практики разработки ХД. С очисткой данных - не такой однозначный вопрос. Исин по произвольно написанным адресам определяет эталонные адреса с координатами, но если он в разных базах видит 2 примерно одинаковых контрагента - он отдает этот вопрос на откуп модулю MDM, сам пока не принимает решение, что это один и тот же контрагент. Некоторые логирования реализованы, некоторые нет, это на мой взгляд - менее приоритетные фантики. Некоторые вопросы - где используется Inner Join, а где Outer Join - сходу не вспомню, нужно анализировать. Для большинства российских компаний Исин может дать быстрый результат, это важный приоритет с учетом пожелания ВВП о росте производительности на 5% в год.
3 сен 18, 17:57    [21662995]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Alex_496
Member

Откуда:
Сообщений: 3731
автор
Исин по произвольно написанным адресам определяет эталонные адреса с координатами


Есть API Яндекса, которые отлично решают эту задачу, которые можно обернуть и обернули в пакетную (bulk) обработку.
3 сен 18, 18:14    [21663011]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
.Евгений
Member

Откуда:
Сообщений: 377
Evolex_
.Евгений,
Могу предожить вам убить вашего слона вашей же серебряной пулей, но ко мне эти процессы никакого отношения не имеют )))

По поводу продаж - я не продацец, я делаю решения ))) + поддерживаю текущий тренд на то что продавцов в текущем понимании с их особенностями должно становиться меньше, даже тестировал рекламу - интерес был большой )))))

Еще есть идея что вот те продавцы решают вполне конкретные полезные задачи - помогают людям, которые говорят про зло, слонов и серебряные пули, и продавцы с теми сказочными персонажами вполне вместе нормально могут работать, мне кажется, но я в таком лично не хотел бы участвовать ))))

Я правильно понял, что про возможности DWA для решения указанных мной ранее задач, характерных для ХД, вы говорить не желаете?
Jurii
Перед Исином я ставил задачи по правилу 80 на 20 - чтобы достичь максимальной монетизации и роста курса хракойна, высокой производительности когда ХД формируется на основе десятков-сотен и более учетных систем. Исин формирует целочисленные ID, это важно. Поддерживает медленно меняющиеся измерения. Уважает лучшие практики разработки ХД. С очисткой данных - не такой однозначный вопрос. Исин по произвольно написанным адресам определяет эталонные адреса с координатами, но если он в разных базах видит 2 примерно одинаковых контрагента - он отдает этот вопрос на откуп модулю MDM, сам пока не принимает решение, что это один и тот же контрагент. Некоторые логирования реализованы, некоторые нет, это на мой взгляд - менее приоритетные фантики. Некоторые вопросы - где используется Inner Join, а где Outer Join - сходу не вспомню, нужно анализировать. Для большинства российских компаний Исин может дать быстрый результат, это важный приоритет с учетом пожелания ВВП о росте производительности на 5% в год.

Еще раз, как решается простая задача: разрешить идентификатор исходной системы в идентификатор ХД?
Как решается другая задача: отсеивание плохой строки (например, не разрешена ссылка на справочник ХД) и автоматическая загрузка после исправления (пополнения справочника ХД)?
Как решается обработка ошибок - например, нехватки памяти? (Ненавижу разработчиков SSIS, которые вместо инициации ошибки до бесконечности пишут в лог строки типа "The buffer manager failed a memory allocation call for 560000 bytes, but was unable to swap out any buffers to relieve memory pressure…")

Вот именно это и есть реальная жизнь с ХД, а не маркетологические бла-бла-бла про практики SCD как в лучших домах Лондона и развертывание ХД нажатием одной кнопки.
3 сен 18, 18:44    [21663038]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3055
2 .Евгений:

Еще раз, как решается простая задача: разрешить идентификатор исходной системы в идентификатор ХД?
Как решается другая задача: отсеивание плохой строки (например, не разрешена ссылка на справочник ХД) и автоматическая загрузка после исправления (пополнения справочника ХД)?
Как решается обработка ошибок - например, нехватки памяти?


Не знаю, правильно ли мы друг друга понимаем, могут помочь конкретные примеры.
В целом Исин работает так - сначала формирует справочники, присваивает каждой записи справочника целочисленный ID, а потом формирует таблицы фактов с этими целочисленными ID. Если в документе есть код товара, а в справочнике его нет - сходу не помню, завтра посмотрю алгоритм Исина.
Нехватка памяти пока не обрабатывается.
3 сен 18, 19:03    [21663053]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
.Евгений
Member

Откуда:
Сообщений: 377
Jurii
Не знаю, правильно ли мы друг друга понимаем, могут помочь конкретные примеры.
В целом Исин работает так - сначала формирует справочники, присваивает каждой записи справочника целочисленный ID, а потом формирует таблицы фактов с этими целочисленными ID.

Порядок понятен и естественен. Вот, кстати, еще одна веселая задача для ХД - автоматическое построение иерархии зависимости для снежинки с большим количеством уровней справочников (сущность знает только своих родителей), и выполнение их загрузок в соответствующем порядке.
Но вернемся к элементарной задаче ХД - разрешению идентификатора. Загрузка обновляет некую сущность ХД порцией строк. Как эффективно выбрать для каждой строки порции стратегию обновления (Insert/Update/Delete/Ignore)? Примечание: мелочь неинтересна, пусть сущность содержит от 100 млн. строк, порция - от 100 тыс. Каким образом ETL (не ELT!) сопоставить указанные количества бизнес-ключей?
3 сен 18, 20:25    [21663113]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить