Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4   вперед  Ctrl      все
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_,

Элементы DWA есть везде. Глючный BIML приходится использовать, чаще для автоматизации выгрузки из источников. Т.е. Extract и Load часть.

Как автоматизировать Trasformation?

При этом стоимость собственно выгрузки из источников ну может 20% от проекта максимум.

Ну съэкономим мы 30% от этих 20%. Большой роли не сыграет.

Зато придется вложиться в обучение. Где профит?
30 авг 18, 16:29    [21659167]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,

Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?
30 авг 18, 16:45    [21659191]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3055
Как автоматизировать Trasformation?
При этом стоимость собственно выгрузки из источников ну может 20% от проекта максимум.
Ну съэкономим мы 30% от этих 20%. Большой роли не сыграет.
Зато придется вложиться в обучение. Где профит?


Серьезные решения делают Transformation автоматически. Вопрос в том, найдутся ли такие сложные задачи, которым Искусственный интеллект еще не обучен в области построения хранилищ и витрин данных... Если найдутся, то нужно будет провести дополнительное обучение. Профит - в сокращении разработки ХД с многих человеко-месяцев до 1 человеко-дня ассистента Исина.
30 авг 18, 16:46    [21659193]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Jurii
Как автоматизировать Trasformation?
При этом стоимость собственно выгрузки из источников ну может 20% от проекта максимум.
Ну съэкономим мы 30% от этих 20%. Большой роли не сыграет.
Зато придется вложиться в обучение. Где профит?


Серьезные решения делают Transformation автоматически. Вопрос в том, найдутся ли такие сложные задачи, которым Искусственный интеллект еще не обучен в области построения хранилищ и витрин данных... Если найдутся, то нужно будет провести дополнительное обучение. Профит - в сокращении разработки ХД с многих человеко-месяцев до 1 человеко-дня ассистента Исина.



Ну-ну... Гладко было на бумаге. Примеры в студию.
30 авг 18, 16:53    [21659201]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_
tarrus,

Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?


Я не поддерживаю, я уже сталкивался с подобными историями. DWA такой же программный продукт как и остальные. Все смотрят на время создания самих пакетов и процедур выгрузки и загрузки. Ну да быстро, спору нет. А документация, а поддержа, а доработки, а нестандартные сценарии, обучение девелоперов?
30 авг 18, 17:20    [21659241]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,
автор
Я не поддерживаю

Вы вообще против всех? И единомышленников не поддерживаете и против DWA?

автор
a документация

Документация (для примера) это одна из областей, которые автоматизируются средствами DWA. (О Dimodelo, я, кстати, узнал много лет назад, когда использовал их средство документации SSAS https://www.dimodelo.com/ssas-document-doc-generator - документация это одна из ключевых областей для автоматизации в целом).

В ссылках выше эта информация есть. Например в обзоре MS https://azure.microsoft.com/en-us/blog/accelerate-your-cloud-data-warehouse-with-automation-tools/ (в описаниях производителей эту информацию так же можно найти):

DWA tools provide more than just ETL automation, they automate the complete life cycle of a data warehouse solution, from analysis, design, and implementation to documentation, monitoring and maintenance.

Другая проблема, которую решает DWA это управление метаданными (Metadata Management). Причем в этом случае даже недостатки ETL средств частично нивелируются и выбор в пользу informatica, по моему мнению, становится не таким очевидным - метаданные хранятся на более высоком уровне централизованно изначально. Так gartner много лет подряд писал в Magic Quadrant for Business Intelligence Platforms о недостатках MS (сейчас не пишет, наверное, потому что исходный квадрант переименовали и есть отдельный квадрант и MS там вообще нет Magic Quadrant for Metadata Management Solutions):
There is no single, enterprise, business, metadata layer or capability across Microsoft's BI platform components. Each has its own metadata model, which could translate into higher development maintenance costs should an organization need more integrated and sophisticated metadata functionality for modeling, impact/lineage and change management.
И это одна из самых сильных особенностей Informatica, кстати, которая при использовании DWA становится менее значимой.
30 авг 18, 18:45    [21659312]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_
tarrus,
автор
Я не поддерживаю

Вы вообще против всех? И единомышленников не поддерживаете и против DWA?



Вы меня хотите обсудить?

А вы раз, так уверены в нашей дремучести и вашей просветленности, рассказали бы нам, что внедрили.

Сказали бы честно, что у вас опыта нет, а то сразу в "России DWH из каменного века, а вот на западе". Открою вам глаза, что проекты в Москве и Питере очень даже не плохие и современные даже по европейским и американским меркам.

Автоматизация DWH хороша, там где полезна и экономически выгодна. По вашей ссылке крупных игроков нет, все они предлагают нишевые решения и внедрения у них единичные. Да и сайт ни о чем.

Документация? Ну-ну, кто бы за неё заплатил и потом читал. Дешевле консультанта переманить. А доки для юзеров и высокоуровневые спеки вы не автоматизируете.

Вы тиражируете какой-то поток мыслей для pre-sale. В реальном проекте все гораздо проще.
30 авг 18, 19:20    [21659331]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_
a документация


Кстати, я писал про документацию для процесса разработки.
30 авг 18, 19:23    [21659334]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,
Про каменный век я, вроде, не говорил. Не надо за меня додумывать )))) Ваша позиция, способы аргументации и методы работы с DWH мне лично понятны, спасибо.
30 авг 18, 19:33    [21659336]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_
tarrus,
Про каменный век я, вроде, не говорил. Не надо за меня додумывать )))) Ваша позиция, способы аргументации и методы работы с DWH мне лично понятны, спасибо.


А это чьи слова с высока?

автор
Вообще удивляет, что многие так усердно "пилят" велосипеды DWH с нуля в то время как на западе
30 авг 18, 19:36    [21659340]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
Evolex_
Member

Откуда: Екатеринбург->Москва
Сообщений: 289
tarrus,

Я же там даже конкретное предположение написал в конце почему так происходит ))) про высоко это полностью ваши выдумки )))
Ваши подходы к аргументации и работе с информацией мне понятны.
30 авг 18, 19:42    [21659343]     Ответить | Цитировать Сообщить модератору
 Re: DWA в России  [new]
tarrus
Member

Откуда: Bergen
Сообщений: 751
Evolex_
tarrus,

Я же там даже конкретное предположение написал в конце почему так происходит ))) про высоко это полностью ваши выдумки )))
Ваши подходы к аргументации и работе с информацией мне понятны.


Ну хорошое, что вам не нравится в моей аргументации. Давайте попорядку?

1. DWA подразумевает под собой программный продукт?
2. Подразумевает ли внедрение DWA в команде полный цикл внедрения? Среди основных моментов.
  • Разработка документации на новую архитектуру и процесс разработки.
  • Обучение разработчиков или поиск новых.
  • Разработка или кастомизация собственно системы.
  • Поддержка, включая стоимость обучения новых членов команды и риски пропажи продукта с рынка.
  • Оценка стоимости внесения изменений в новую архитектуру.
  • 30 авг 18, 19:54    [21659352]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Alex_496
    Member

    Откуда:
    Сообщений: 3733
    Evolex_,

    так зачем про грибные места рассказывать? Нашли волшебное лукошко, зарабатывайте 1 млн. USD, потом расскажете :)

    для компаний с хорошими бюджетами организуются закрытые техн. презентации, на которых много чего увлекательного рассказывают. Что выбрать - каждый примеряет для себя, об этом и западные архитекторы в блогах пишут
    30 авг 18, 20:06    [21659370]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,

    То есть вы говорите что не используете dwa из-за того что ответы на эти пункты вас не удовлетворяют - я не против, ладно )))
    30 авг 18, 20:10    [21659377]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Alex_496,

    Да нее ))) мне было интересно почему в России не используется )))) и я как раз предположил что из-за того что можно бабла побольше срубить когда меньше прозрачности в работах )))) То есть вы вроде эти подтверждаете )))
    30 авг 18, 20:13    [21659381]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Бумбараш
    Member

    Откуда: никем не победимая, самая любимая
    Сообщений: 2111
    Evolex_, я же говорю, автоматизация разработки хранилищ в России вполне есть, и ушла подальше гуишных плагинов.
    Если вы не сталкивались с ней работая MS BI в автодилере, то это не значит, что её нет.
    30 авг 18, 21:16    [21659416]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    Никогда не работал в автодилере ну ладно.

    Подытожить на текущий момент:

    BI Developer + vik + ivan + tarrus: нет и не надо (вообще не надо)

    Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

    Я + Alexxx : не выгодно тем кто зарабатывает на внедрении решений
    30 авг 18, 21:38    [21659430]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Evolex_
    Никогда не работал в автодилере ну ладно.

    Подытожить на текущий момент:

    BI Developer + vik + ivan + tarrus: нет и не надо (вообще не надо)

    Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

    Я + Alexxx : не выгодно тем кто зарабатывает на внедрении решений


    Э как он меня посчитал. Я использую и вполне успешно, но локально. На этапе выгрузки в staging оправдывает себя. Иногда куски выгрузок в хранилище удается автоматизировать, но ни в какие серебряные пули не верю и решений таких не встречал даже у крупных заказчиков.

    Привести примеры своих пробивных проектов товарищ отказывается. Зато за пару месяцев работая у одного заказчика в Польше уже сформировал мнение обо всем западе.
    30 авг 18, 22:14    [21659461]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,

    Да приводил я пример - описание POC решения end-to-end выше, хорош загоняться уже, усваиваешь 30% информации с первого раза и не стесняешься еще.
    30 авг 18, 22:21    [21659464]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Evolex_
    tarrus,

    Да приводил я пример - описание POC решения end-to-end выше, хорош загоняться уже, усваиваешь 30% информации с первого раза и не стесняешься еще.


    Я отлично усваиваю, спасибо за заботу. Я сразу писал про экономическое обоснование и локальное использование повсеместно . Перевирать мои слова и насмехаться с "вы вообще против всех" начал ты, раз уж мы теперь на ты.

    Так что научись сначала уважать других, тогда и отношение будет другое.
    30 авг 18, 22:30    [21659471]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,

    Дак ты вроде и сейчас против всех )))) - там Иван тебе не понравился, у которого такая же позиия была, сейчас отнесение к группе не понравилось )))
    30 авг 18, 22:32    [21659472]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Evolex_
    tarrus,

    Дак ты вроде и сейчас против всех )))) - там Иван тебе не понравился, у которого такая же позиия была, сейчас отнесение к группе не понравилось )))
    какой Иван мне не понравился? Ты трезв?
    30 авг 18, 22:36    [21659473]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus
    Evolex_
    tarrus,

    Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?


    Я не поддерживаю, я уже сталкивался с подобными историями. DWA такой же программный продукт как и остальные. Все смотрят на время создания самих пакетов и процедур выгрузки и загрузки. Ну да быстро, спору нет. А документация, а поддержа, а доработки, а нестандартные сценарии, обучение девелоперов?


    Вот этот )) времени много, хорош смешить ))) на ночь нельзя много смеяться ))))
    30 авг 18, 22:39    [21659474]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    tarrus
    Member

    Откуда: Bergen
    Сообщений: 751
    Evolex_
    tarrus
    пропущено...


    Я не поддерживаю, я уже сталкивался с подобными историями. DWA такой же программный продукт как и остальные. Все смотрят на время создания самих пакетов и процедур выгрузки и загрузки. Ну да быстро, спору нет. А документация, а поддержа, а доработки, а нестандартные сценарии, обучение девелоперов?


    Вот этот )) времени много, хорош смешить ))) на ночь нельзя много смеяться ))))


    И где написано, что мне не нравится? Иван сказал дельные вещи.
    30 авг 18, 22:41    [21659475]     Ответить | Цитировать Сообщить модератору
     Re: DWA в России  [new]
    Evolex_
    Member

    Откуда: Екатеринбург->Москва
    Сообщений: 289
    tarrus,

    А чего тогда пишешь
    автор
    Я не поддерживаю
    ? ))))
    30 авг 18, 22:43    [21659477]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4   вперед  Ctrl      все
    Все форумы / OLAP и DWH Ответить