Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2 3 4      [все]
 Правильное хранилище данных для power bi  [new]
AlexanderGikalo
Member

Откуда:
Сообщений: 4
Доброго дня.
Есть потребность в получении отчетов из нескольких информационных систем(в том числе консолидированных) и отображении их в браузере для пары сотен пользователей. Общие оъемы данных -около 200-300 гигов на текущий момент времени. В связи с этим передо мной стоит вопрос правильного хранения данных, тк лить все напрямую в power bi кажется плохой идеей, тем более что планируется data mining.
Посоветуйте пожалуйста облачную платформу для организации хранилища и предпочтительную структуру данных(power bi умеет работать не только с классической звездой, но ее заполнение дает преимущества в плане обработки медленно меняющихся измерений).
В данный момент смотрю в сторону azure warehose и преобразования всех данных в "звездные" кубы. Очень рассчитываю на советы знающих старожилов)
3 фев 18, 10:44    [21162527]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
KRED
Member

Откуда: München/Augsburg (Germany)
Сообщений: 595
Добрый день AlexanderGikalo,

какие отчоты вам нужны ?

ЗЫ: я не старожил, я сам интересуюсь.
3 фев 18, 11:46    [21162584]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
AlexanderGikalo
Member

Откуда:
Сообщений: 4
KRED,

Максимально бодрые и динамические. Смотрел на табло и клик, но выбрал power bi.
3 фев 18, 13:09    [21162669]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4826
AlexanderGikalo
Посоветуйте пожалуйста облачную платформу
посмотрите для начала сколько это стоит (Power Bi в облаке), если 300-500 тыр в месяц для вас приемлемо, то можно говорить дальше.

что касается "звёзд"... структура хранилища очень сильно зависит от ваших данных.
нельзя сказать, например, звёзды хороши пихаем всё в звёзды.
кроме скорости выборки данных для построения отчёта есть ещё скорость преобразований ваших данных и заливки их в хранилище.
3 фев 18, 14:18    [21162800]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
AlexanderGikalo
Member

Откуда:
Сообщений: 4
Дедушка,

Powеr bi стоит около 650р на человека.
По поводу данных - обычная тема с продажами-посещениями. Преобразование в "кубы" по моим прикидкам будет не особо сложным и затратным, но во избежание двойной работы хочу узнать best practics по хранению данных для подобных целей.
3 фев 18, 15:56    [21162934]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4826
AlexanderGikalo
Powеr bi стоит около 650р на человека.
почитайте про лимиты на ресурсы за эти "650р на человека".

AlexanderGikalo
обычная тема с продажами-посещениями ... узнать best practics по хранению данных для подобных целей.
моделей хранилищ существует, скажем так, больше 5 и ваши "продажами-посещениями" можно реализовать в каждой с учётом нюансов.
например, у вас сложный справочник товаров и у вас вместо звезды может возникнуть снежинка (с последствиями для ETL)
или атрибутика товаров часто меняется и вот вы уже делаете EAV или DataVault.

а потом вы узнаёте про аналитические хранилища с колоночным хранением и прочие MPP системы (типа Greenplum и Clickhouse) и всё становится ещё веселее.

впрочем, если
AlexanderGikalo
по моим прикидкам будет не особо сложным и затратным
то не вопрос.
3 фев 18, 16:34    [21162995]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
T87
Member

Откуда:
Сообщений: 78
AlexanderGikalo
Доброго дня.
Есть потребность в получении отчетов из нескольких информационных систем(в том числе консолидированных) и отображении их в браузере для пары сотен пользователей. Общие оъемы данных -около 200-300 гигов на текущий момент времени. В связи с этим передо мной стоит вопрос правильного хранения данных, тк лить все напрямую в power bi кажется плохой идеей, тем более что планируется data mining.
Посоветуйте пожалуйста облачную платформу для организации хранилища и предпочтительную структуру данных(power bi умеет работать не только с классической звездой, но ее заполнение дает преимущества в плане обработки медленно меняющихся измерений).
В данный момент смотрю в сторону azure warehose и преобразования всех данных в "звездные" кубы. Очень рассчитываю на советы знающих старожилов)

Azure Warehouse Вам не нужен. Нафига Вам mpp для 200-300 гигов данных? Постройте "звездный" DWH в Azure Sql Server, сделайте куб в Azure AS и крутите на нем PBI.
3 фев 18, 22:05    [21163449]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
AlexanderGikalo
Member

Откуда:
Сообщений: 4
T87,

Спасибо за совет. Примерно так и решил поступить)
6 фев 18, 21:46    [21171321]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4826
T87
Нафига Вам mpp для 200-300 гигов данных?
например, чтобы не делать куб, а строить всю отчётность напрямую из ХД.
6 фев 18, 22:13    [21171390]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
T87
Member

Откуда:
Сообщений: 78
Дедушка
T87
Нафига Вам mpp для 200-300 гигов данных?
например, чтобы не делать куб, а строить всю отчётность напрямую из ХД.

В PowerBI? 300Gb?
6 фев 18, 22:56    [21171467]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
vikkiv
Member

Откуда: London
Сообщений: 1231
T87,

а в чём проблема-то? PBI через DirectQuery напрямую в DB, в итоге 300GB в DB, в PBI только то что запрошено пользователем да и ещё и RLS автоматом по текущему логину если подключение верно настроено.
т.к. в основном на чтение - то Azure PDW/EDW/APS конечно во многих сценариях конечно побыстрее будет - но на первых опытных порах и обычная DB пойдёт - а там видно будет надо-ли DWU/параллельности добавлять (или какая там DB на чтение больше заточено в их пакетах предложений VM, хотя список совместимых с DirectQuery не настолько широк) .. можно и кубам через LiveConnection, но там свои овраги..
7 фев 18, 02:20    [21171726]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Полковник.
Member

Откуда:
Сообщений: 1639
300 gb в Power BI не зайдет никак.
Самый оптимальный вариант - ssas tabular model + power bi
7 фев 18, 10:09    [21172107]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1011
AlexanderGikalo
Посоветуйте пожалуйста облачную платформу для организации хранилища

Александр, день добрый. Не подскажете, а почему смотрите именно облачное хранилище? И какое, Azure? Или частное облако?
AlexanderGikalo
Максимально бодрые и динамические. Смотрел на табло и клик, но выбрал power bi.
А чем клик не устроил, можно узнать? Я просто отвечаю за партнерскую сеть. И очень неприятно, когда кто-то неумело про него рассказывает. Типа, моя вина, не научил

С Уважением,
Георгий
7 фев 18, 11:32    [21172497]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Fyodor Zevako
Member

Откуда:
Сообщений: 564
George Nordic
И очень неприятно, когда кто-то неумело про него рассказывает. Типа, моя вина, не научил


А что, клик прям идеальный во всем и если его не выбирают, то это от недостатка знаний, а не от того, что другие продукты могут лучше подходить клиенту?:-))
8 фев 18, 08:04    [21175048]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1011
Fyodor Zevako, нет, конечно. Каждый продукт хорош для решения своего класса задач. В данном случае, думаю, Qlik бы вполне себе подошел, если руководству необходимо быстро получить результат. Однако если уже есть облачное хранилище на Azure, а у компании ELA с бесплатным PBI, то убедить компанию что нужно что-то еще ПОКУПАТЬ - крайне непросто. Особенно если компания не умеет считать общую стоимость проекта. Кстати, именно поэтому Qlik популярен именно у очень прижимистых компаний, которые хорошо умеют считать деньги - это, в первую очередь, ритейл и фарм-индустрия. Ну и банки сейчас тоже деньги начинают считать. Так что, возможно, просто не сумели донести основные преимущества, неправильно выбрали область для проведения пилотного проекта...

Как уже и замечали коллеги, Qlik в первую очередь необходим для быстрого получения аналитических отчетов из разнородных систем. В частности, на Qlik иногда проектируют [A]DWH - чтобы понять, а какие именно отчеты необходимы руководству и какие данные из каких систем необходимо консолидировать и как их обрабатывать при загрузке. Когда отчеты построены, чистятся модели (запускается govenance dashboard, удаляются все неиспользуемые отчеты / данные в отчетах, получается "чистая" схема данных), и по готовым лекалам уже строится [A]DWH. В итоге - получаем только реально используемые данные, а не "кладбище данных", в котором половины данных не хватает, а половина (если не 80%) лежит мертвым грузом.

Так что много применений.... И, судя по спросу, хранение данных в облаках на территории России не так популярно - почти ВСЕ поставляемые лицензии, как on-permise так и на основе "подписки" (в принципе, та же самая лицензия, но ограниченная годом действия), ставятся внутрь периметра компании. Очень редко - в доверенном ЦОДе. Но что бы в облака... да, я понимаю, что этим будущее, но пока это редкость. вот и интересно

С Уважением,
Георгий
8 фев 18, 09:52    [21175303]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4826
Георгий, вы начинаете превращаться в Юрия... :)
8 фев 18, 10:06    [21175370]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31925
Блог
профдеформация
8 фев 18, 11:13    [21175647]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3338
George Nordic
Кстати, именно поэтому Qlik популярен именно у очень прижимистых компаний, которые хорошо умеют считать деньги - это, в первую очередь, ритейл и фарм-индустрия.

в РФ ? Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.
8 фев 18, 11:14    [21175651]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1011
Дедушка
Георгий, вы начинаете превращаться в Юрия... :)
Покусал Чур меня, чур. Ну, благо, пока я не говорю, что только один продукт чудесный - мне BI вообще в принципе нравится, после ERP-то систем. Как буду только один продукт хвалить - забаньте меня, пожалуйста - значит, обратной дороги нет
Ivan Durak
в РФ? Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.
Ну, нельзя сравнивать Qlik с Когносом и Анапланом - Qlik совсем в другой области. Qlik на предназначен для бюджетирования - для этого есть ряд других замечательных продуктов. Qlik, скорее, дополняет бюджетирование план/фактом, как Дойчебанке и ряде других компаний. А мире фарма и healthcare - очень неплохо идет.

В РФ Фарма в первую очередь решает задачи анализа вторичных продаж. Чем обучать MDM-систему (Хвала MS, что хоть что-то доступное появилось - всего лет 5 назад было или IBM PIM / Oracle по цене крыла от самолета, или Talent MDM, для которого напильник нужен было размером с то же крыло, или самописка), народ на Qlik все присланные файлы сводил. Знаю, что правильнее МДМ. Но делают на коленке - результат тот же, но быстрее. про это тот же Фармстандарт рассказывал на нашем мероприятии.

С Уважением,
Георгий
8 фев 18, 11:45    [21175763]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4826
Ivan Durak
Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.
а исходя из вашего опыта как там с популярностью AWS и Azure?
8 фев 18, 13:01    [21176024]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
2 Дедушка:

Георгий, вы начинаете превращаться в Юрия... :)

Георгию это пока не грозит ;) Он пока не может стать независимым от вендоров экспертом. Он вынужден продавать решение, имеющее узкий функционал (в котором нет бюджетирования, нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.). У него нет права предлагать заказчикам лучшие варианты архитектуры на основе дефолтных решений (которые далеко не всегда являются Когносом, хотя иногда и могут оказаться Кликом). Поскольку психологически для него это, вероятно, очень тяжело, предлагаю на ближайшей BI-сходке назначить для него в качестве компенсации молоко за вредность ;)
8 фев 18, 15:52    [21176911]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3338
Дедушка
Ivan Durak
Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.
а исходя из вашего опыта как там с популярностью AWS и Azure?

Растет. Семимильными шагами. И AWS и AZURE. В первую очередь для баз и хранилищ начального и среднего уровня.
В крупном международном фарма гиганте количество таких BI систем может исчисляться сотнями! И они конечно экономят. Саппорт в индию, базы в облако. Технологии стандартные. Конфигурации систем типичные, новые делаются путем ctrl-c, ctrl-v.
8 фев 18, 16:04    [21177002]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1011
Jurii
в котором ... нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.).
Ну, ИИ нет, извините. Остальное - Юр, пятый (шестой?) год прошу - скачай продукт, видео там посмотри и разберись. Все есть. Вот прямо в соседней ветке видео, где все это показано + ассоциативная модель. Ну, ё-мое. Если критикуешь, то хоть убедись, что аргументы верны.
Jurii
предлагаю на ближайшей BI-сходке назначить для него в качестве компенсации молоко за вредность ;)
Я настолько вредный, что мне молоко литрами выдают.

Кстати, а вот насчет сходки - идея хорошая. Могу в Москве организовать.

С Уважением,
Георгий
8 фев 18, 16:28    [21177177]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
Георгий,

в котором ... нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.).
Ну, ИИ нет, извините. Остальное - Юр, пятый (шестой?) год прошу - скачай продукт, видео там посмотри и разберись. Все есть. Вот прямо в соседней ветке видео, где все это показано + ассоциативная модель. Ну, ё-мое. Если критикуешь, то хоть убедись, что аргументы верны.


Отсутствие ИИ простить пока можно. Без бюджетирования - сложно жить, надо понять, где пользователи Клика должны делать бюджеты.
По остальным вопросам - я скачивал Клик, и увидел, что интерфейс слабоват с точки зрения гибкости, многомерной модели не видно, ассоциативная модель - это просто автофильтр по денормализованному представлению, в этом нет аналитической ценности. Так что жду еще 10 лет и скачаю Клик еще раз, может сейчас разработчики ринутся развивать функционал и за 10 лет что-то в Клике разработают ;) Либо найдется хотя бы 1 специалист по Клику, который на этом форуме станет приводить аргументы в защиту Клика (например, даст ссылку на видео, и скажет, что на такой-то секунде можно увидеть сложный отчет или анализ данных). Или на BI сходке можно будет обсудить Клик вживую.
Прошу относиться к моим словам не как к критике Клика, а как к искреннему желанию помочь вендору и партнерам Клика понять слабости этого решения и доработать его (либо понять, что о сильных сторонах лидеры мнения, такие как я, не информированы).
8 фев 18, 16:56    [21177330]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
xenix
Guest
Jurii,

автор
лидеры мнения, такие как я

скромненько так.
8 фев 18, 17:01    [21177350]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Fyodor Zevako
Member

Откуда:
Сообщений: 564
George Nordic,

те, кто "умеют" считать деньги и индусов в 3 раза дешевле покупают, а потом удивляются)

меня правда искренне восхищает умение предположить уместность того или иного продукта даже не видя требований.

Кстати, Cognos это не только TM1;))

Cheers,
Fedor
9 фев 18, 06:57    [21178708]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1011
Fyodor Zevako
George Nordic, те, кто "умеют" считать деньги и индусов в 3 раза дешевле покупают, а потом удивляются)

Угу, или тендер играют "кто дешевле", не сформировав нормально требований к конечному результату. С тем же успехом [/quot]
Fyodor Zevako
меня правда искренне восхищает умение предположить уместность того или иного продукта даже не видя требований.
Аналогично. Поэтому и попросил ТС детализировать - почему? Но опять "уникальные эксперты", которые 7й год не могут осилить часовое видео и не понимают, что Qlik НЕ ПРЕДНАЗНАЧЕН И НИКОГДА НЕ ПРЕДНАЗНАЧАЛСЯ для бюджетирования, и что BI - это не только бюджетирование, влезли с тупой рекламой и искусственным интеллектом. Видимо, за неимением естественного.

Увы, Александр не отвечает, было бы интересно послушать.

С Уважением,
Георгий
9 фев 18, 09:48    [21178881]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
2 Fyodor Zevako:

те, кто "умеют" считать деньги и индусов в 3 раза дешевле покупают

В 3 раза дешевле по сравнению с какими ставками? Например, Юрий II мне озвучивал в свое время достаточно высокие австралийские ставки ;)

Кстати, Cognos это не только TM1;))

Для Георгия так удобнее и приятнее думать, чтобы не огорчаться от превосходства дефолтного решения над Кликом в задачах BI ;)

George Nordic:

меня правда искренне восхищает умение предположить уместность того или иного продукта даже не видя требований.
Аналогично. Поэтому и попросил ТС детализировать - почему? Но опять "уникальные эксперты", которые 7й год не могут осилить часовое видео и не понимают, что Qlik НЕ ПРЕДНАЗНАЧЕН И НИКОГДА НЕ ПРЕДНАЗНАЧАЛСЯ для бюджетирования, и что BI - это не только бюджетирование, влезли с тупой рекламой и искусственным интеллектом. Видимо, за неимением естественного


Если бы проблемой Клика было только отсутствие бюджетирования... ;) Основная беда Клика в том, что задачи BI он плохо решает, не позволяет проводить сложный анализ данных, создавать сложные отчеты, не говоря об управлении метаданными, о многомерной модели и т.п. Вы с этим спорите. Может Вы просто не видели, как это работает в дефолтных решениях. Чтобы закрыть этот вопрос - запостите ссылку на видео, и укажите, на каких минутах/секундах в Клике видны сложные отчеты и анализ данных, многомерная модель и управление метаданными. Пока это не будет сделано, может Вы и будете считать, что уважаемые эксперты, ставящие крест на Клике - не правы, но для Клика это будет плохо (иметь таких лидеров мнения, которые считают его слабым решением, годами об этом говорят, и им многие верят, поскольку их авторитет не вызывает сомнений). Реклама у нас запрещена. А то что в споре или дискуссии рождается истина - этого никто не отменял, и ценные результаты наших дискуссий сохраняются для читателей на надежных иностранных серверах ;)
Чтобы изобрести Искусственный интеллект, поверьте, требуется немало естественного интеллекта ;) А вот когда у человека мало естественного интеллекта, и он при этом считает себя умным, не имея объективных достижений, то это довольно печально... ;)
9 фев 18, 12:04    [21179397]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1011
Jurii
Основная беда Клика в том, что задачи BI он плохо решает
Офигеть. Расскажите это Сбербанку, Магниту, Ленте, Детском Миру, Газпромнефти, Фармстандарту, Почте России и еще сотням заказчиков а России и СНГ. Они-то не знают. Как это можно строить такие отчеты, которые невозможно повторить в других системах за разумный срок, как можно одновременно запустить решение на десятки тысяч пользователей, как можно работать с BigData, обрабатывая петабайты данных. И это не мои слова, а слова именно заказчиков. Или Вы их считаете за дураков, которые ничего кроме Qlik не видели??
Jurii
и он при этом считает себя умным, не имея объективных достижений, то это довольно печально... ;)

О, спасибо за комплимент. В 2003 году я в качестве РП и Архитектора (еще и ведущим разработчиком был, 3-в-1) завершил самое крупное внедрение ERP (Axapta) в Восточной Европе. После чего перешел в небольшую такую компанию с именем Microsoft, где в 2007 году был признан лучшим техническим специалистом. Впрочем, Архитектором я тоже потом работал, в КРОКе, где занимался решениями по оптимизации цепей поставок, а так же предпроектным обследованием и разработкой целевой информационной архитектуры (в основном - что касалось контуров логистики, но не только. В основном на продуктах IBM и Oracle. Но, конечно, я и в подметки не гожусь ТАКОМУ КРУПНОМУ специалисту как Вы!
Jurii
Чтобы закрыть этот вопрос - запостите ссылку на видео, и укажите, на каких минутах/секундах в Клике видны сложные отчеты и анализ данных, многомерная модель и управление метаданными.

Вы хотите что это было в видео "Первые шаги в Qlik"??? Юрий, при всем моем уважении, я просто не могу опуститься до необходимого уровня, чтобы продолжать с Вами дискуссию. А там вы задавите меня своим опытом.

С Уважением,
Георгий
9 фев 18, 15:26    [21180393]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Barclay
Member

Откуда:
Сообщений: 73
George Nordic
Jurii
Основная беда Клика в том, что задачи BI он плохо решает
Офигеть. Расскажите это Сбербанку, Магниту, Ленте, Детском Миру, Газпромнефти, Фармстандарту, Почте России и еще сотням заказчиков а России и СНГ.

Мы являемся одним из этой сотни заказчиков. И честно сказать, при первой возможности переводим репортинг/дашбординг на SAP BI/ PowerBi в связке с SSAS tabular. Много важных отчетов было сделано в свое время на клике, и просто так, в один миг, от них, к сожалению не отказаться. Первая, но не основная причина, это стоимость решений/лицензий на клике(очень высоко в сравнении). Вторая - целостность данных - это важно, а с ассоциативной моделью клика на выходе в отчете получаются очень большие погрешности. И наконец, когда данных очень много, клику всё-таки требуется хранилище, как бы не расписывали ваши продажники, что можно работать без хранилища на клике, а это уже другие косты, так не проще ли сразу строить нормальный BI backend?
BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу, к клику больше ни ногой.
9 фев 18, 22:40    [21181312]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Barclay
Member

Откуда:
Сообщений: 73
T87
Azure Warehouse Вам не нужен. Нафига Вам mpp для 200-300 гигов данных? Постройте "звездный" DWH в Azure Sql Server, сделайте куб в Azure AS и крутите на нем PBI.

Вы считали сколько это стоит? Особенно Azure AS с 200-300 Гб.
Если вы построите модель данных по всем канонам Marco Russo & Alberto Ferrari, то ок, модель данных будет раз 10 меньше, и это не будет стоить дорого.

К примеру, согласно очень предварительному расчету памяти для модели=(объем данных/10)*2. У вас получится min.40 гб - куб. Согласно прайсу Azure это ~$2,963.80/month + прайс за разработку модели, репортинга.

Я бы рекомендовал on-premise SSAS tabular решение + отчеты в PowerBI Pro с Live Connection на Office365 (это примерно 500 руб/мес. на юзера).
9 фев 18, 23:10    [21181364]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Кэптен
Member

Откуда: Kiev
Сообщений: 208
George Nordic
где занимался решениями по оптимизации цепей поставок

Тут стало очень много Георгия, точнее продавана.
Любой мало-мальский спец в логистике знает, что есть цепочки поставок, а не цепи ;)
Про решение все верно советуют, я бы тоже использовал AS (в облаке или на земле) и к нему PBI.
10 фев 18, 20:23    [21182376]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3564
Кэптен,

с Георгием лично не знаком, но вступлюсь. Возможно, Георгий постиг сермягу SCM и потому написал - цепи.
Есть же такие оговорки, как хоронилище (DWH), концлагерь (CRM).
Сейчас постигаю тему цепочек поставок, полный цикл.
11 фев 18, 17:20    [21183519]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Владимир Штепа
Member

Откуда: Hannover
Сообщений: 6003
Господа Георгий и Юрий, тема начата по технологическому вопросу а вы ее с рвением превращаете в соревнование по длине непарных конечностей. Ну прям как 8-классники.
11 фев 18, 17:46    [21183542]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
Герр Владимир,

Господа Георгий и Юрий, тема начата по технологическому вопросу а вы ее с рвением превращаете в соревнование по длине непарных конечностей. Ну прям как 8-классники.

Такие проблемы требуют разработки Искусственного интеллекта, который круглосуточно будет мониторить посты на этом форуме.
Если бы г-н Дедушка 8 февраля в 10.06 по московскому времени был бы на год забанен, и его пост был бы удален, то тогда г-н Георгий не обвинил бы меня в том, что карается как минимум УК РФ, и мне бы не пришлось на это отвечать ;)

Но пока у нас нет жесткого модерирования, то подобные веселые дискуссии приносят пользу - и повышают уровень активности на форуме, и доносят правду (например, что Клик нужно серьезно проверить с точки зрения введения в заблуждение его заказчиков, которые теряют немалые деньги, когда им приходится переходить на другие BI решения).
11 фев 18, 20:20    [21183742]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1581
Кэптен
George Nordic
где занимался решениями по оптимизации цепей поставок

Тут стало очень много Георгия, точнее продавана.
Любой мало-мальский спец в логистике знает, что есть цепочки поставок, а не цепи ;)
Про решение все верно советуют, я бы тоже использовал AS (в облаке или на земле) и к нему PBI.

А я бы не советовал использовать PBI в связке с SSAS до тех пор, пока веселые индусы из Редмонда не прикрутят поддержку named sets. Это очень забавные грабли, бьют по лбу неожиданно и больно.
Просят их об этом уже года три, но воз и ныне там.
Хотя некоторые фичи в нем выглядят таки очень красиво и занимательно.
11 фев 18, 22:42    [21183961]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Barclay
Member

Откуда:
Сообщений: 73
Andy_OLAP
А я бы не советовал использовать PBI в связке с SSAS до тех пор, пока веселые индусы из Редмонда не прикрутят поддержку named sets. Это очень забавные грабли, бьют по лбу неожиданно и больно.


Полезная фича, конечно, но это не может является преградой при выборе решения. Тем более, что существует work-arround: делаете вью в базе, а из нее как отдельный dimension в SSAS.
11 фев 18, 22:59    [21183989]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1581
Barclay
Andy_OLAP
А я бы не советовал использовать PBI в связке с SSAS до тех пор, пока веселые индусы из Редмонда не прикрутят поддержку named sets. Это очень забавные грабли, бьют по лбу неожиданно и больно.


Полезная фича, конечно, но это не может является преградой при выборе решения. Тем более, что существует work-arround: делаете вью в базе, а из нее как отдельный dimension в SSAS.

Ой-вей, это совсем не воркэраунд, это очень даже некошерное решение, я не буду подробно расписывать, почему, просто у меня такое мнение.
11 фев 18, 23:03    [21183995]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 921
Andy_OLAP,

+1
12 фев 18, 13:32    [21185301]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Barclay
Мы являемся одним из этой сотни заказчиков. И честно сказать, при первой возможности переводим репортинг/дашбординг на SAP BI/ PowerBi в связке с SSAS tabular. Много важных отчетов было сделано в свое время на клике, и просто так, в один миг, от них, к сожалению не отказаться. Первая, но не основная причина, это стоимость решений/лицензий на клике(очень высоко в сравнении). Вторая - целостность данных - это важно, а с ассоциативной моделью клика на выходе в отчете получаются очень большие погрешности. И наконец, когда данных очень много, клику всё-таки требуется хранилище, как бы не расписывали ваши продажники, что можно работать без хранилища на клике, а это уже другие косты, так не проще ли сразу строить нормальный BI backend?
BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу, к клику больше ни ногой.


Barclay, а не могли бы Вы чуть подробней по пунктам описать где конкретно плохо:

1. Стоимость решений/лицензий на клике(очень высоко в сравнении).
Если речь о решениях - какие именно решения на клике дороги (ETL, DWH, морда) и в сравнении с чем?
Если о лицензиях - с какими продуктами сравнивали, скажем, можете сравнить стоимость PowerBI и Qlik?

2. Целостность данных - можете дать пример конкретной проблемы с ассоциативной моделью и описание решения другим инструментарием (каким?) ?

3. "Когда данных очень много, клику всё-таки требуется хранилище." На каких объёмах пришли к выводу что кликовского решения ХД недостаточно?
Какие альтернативы решили проблему и каков порядок костов (лицензии, человекочасы)?

4. "BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу".
Так PowerBI или Lumira?
А ETL, DWH на чём?
Что значит "пошло как по маслу"? Лицензии_дешевле_&_время_разработки_короче_&_с_ целостностью_данных_вообще_нет проблем_&_etc ? Или как-то иначе?

Заранее спасибо.

P.S. Мой интерес не праздный.
Возможно, благодаря Вашим ответам удастся убедить моё начальство протестировать у нас другие продукты.
12 фев 18, 14:57    [21185589]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1878
slovnet
[какие именно решения на клике дороги (ETL, DWH,

Не удержался. И опять 25, кто то что сделал и с чего вдруг у Qlik появилось ETL, DWH. Навскидку у людей зоопарк, показалось дорого за матерели, поняли как правильно, пришло понимание, решили от дорого избавиться и сделать как правильно с DWH. Георгий писал, что после Qlik понимание о необходимых срезах и показателях. Одну зверушку убираем, парочку добавляем. Развитие по спирали. Ну не бывает в крупных копаниях, одной зверушки.
12 фев 18, 16:40    [21185953]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
SpellBuilder
slovnet
[какие именно решения на клике дороги (ETL, DWH,

Не удержался. И опять 25, кто то что сделал и с чего вдруг у Qlik появилось ETL, DWH. Навскидку у людей зоопарк, показалось дорого за матерели, поняли как правильно, пришло понимание, решили от дорого избавиться и сделать как правильно с DWH. Георгий писал, что после Qlik понимание о необходимых срезах и показателях. Одну зверушку убираем, парочку добавляем. Развитие по спирали. Ну не бывает в крупных копаниях, одной зверушки.

Будем считать что и я не удержался. И опять 25.
Как по-Вашему называется когда с помощью программного продукта сводится информация из нескольких источников?
А потом очищается, фильтруется, нормализируется?
А когда потом из этого строится модель типа звезда/снежинка - это как называется?

Где я писал что должна быть обязательно "одна зверушка"?

Где у Barclay написано что компания именно крупная?
И вообще, причём здесь величина компании? Это очень косвенный показатель, я вот интересуюсь у Barclay объёмами данных, конкретными проблемами.

Почему Вы решили что знаете "как правильно" во всех ситуациях не зная ничего о конкретном случае?

Я, в отличии от Вас, не рассказываю "как правильно", а интересуюсь, что именно показалось дорого, пришло понимание чего именно, какие проблемы были, как и чем решили.
"Развитие по спирали" - слишком общее понятие. Мне интересны как раз стыки этой самой спирали, где они проходят.
У меня тоже своё развитие по своей спирали, и интересно послушать опыт коллег.
12 фев 18, 19:22    [21186288]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Barclay
Member

Откуда:
Сообщений: 73

Barclay, а не могли бы Вы чуть подробней по пунктам описать где конкретно плохо:

1. Стоимость решений/лицензий на клике(очень высоко в сравнении).
Если речь о решениях - какие именно решения на клике дороги (ETL, DWH, морда) и в сравнении с чем?
Если о лицензиях - с какими продуктами сравнивали, скажем, можете сравнить стоимость PowerBI и Qlik?

2. Целостность данных - можете дать пример конкретной проблемы с ассоциативной моделью и описание решения другим инструментарием (каким?) ?

3. "Когда данных очень много, клику всё-таки требуется хранилище." На каких объёмах пришли к выводу что кликовского решения ХД недостаточно?
Какие альтернативы решили проблему и каков порядок костов (лицензии, человекочасы)?

4. "BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу".
Так PowerBI или Lumira?
А ETL, DWH на чём?
Что значит "пошло как по маслу"? Лицензии_дешевле_&_время_разработки_короче_&_с_ целостностью_данных_вообще_нет проблем_&_etc ? Или как-то иначе?

Заранее спасибо.

P.S. Мой интерес не праздный.
Возможно, благодаря Вашим ответам удастся убедить моё начальство протестировать у нас другие продукты.


1. Стоимость решений ~ Среда разработки 64 gb + продуктив 384 gb = в ЦОДе стоИт (дорого стОит). + лицензии (около 40 тыс$/год) точную сумму я не буду писать.

В сравнении с SQL Server Software Assurance + Pro cloud, около 20 тыс $/год

2. Конкретные примеры? Есть множество QVD с непонятной недокументированной логикой от предыдущей команды, и гора инцидентов, при разборе которых выяснялось, что в полях, где должны быть буквы оказались цифры. На этой негативной ноте всё и "порешилось" в сторону PBI, Lumira. Естественно, что не в один день.
А я как-то не горю желанием доказывать руководству, обратное, что клик - он хороший, просто нужно провести трудоемкую ревизию месяцев на 6 с разбором всей логики, расчетов и пр. Тогда как сам я занимаюсь Microsoft'ом, SAP'ом.

3. Около 100 gb ежемесячно

4. Lumira для 5 юзеров контроллинга с отчетами напрямую из CDS view (SAP FI/CO),
PowerBi для всех остальных юзеров(sales) (SQLServer DWH+SSIS+SSAS+PowerBI report server). с целостностью данных нет проблемы, вы правы, этот вопрос решается при загрузке в DWH.
12 фев 18, 21:44    [21186449]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1878
slovnet,

Ну вот Вам и ответ, компетенции, нежелание восстанавливать и погружаться в другое, прокачка своих скилов и обоснование удешевление и все плохо. Наша классика.
13 фев 18, 09:07    [21186818]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 208
Barclay,

Разве в "проблемах с Qlik'ом" в вашей компании был виноват Qlik? Может дело в организации поддержки и развития системы, которая была построена на ем?

Вы пишете:
Barclay
Есть множество QVD с непонятной недокументированной логикой от предыдущей команды <...>

То есть сейчас у вас нет компетентной команды для поддержки и развития Qlik'а. Виноват не продукт.

Barclay
<...> и гора инцидентов, при разборе которых выяснялось, что в полях, где должны быть буквы оказались цифры.

У старой команды кривые руки и отсутвие понимания как нужно интегрировать и чистить данные для BI? Виноват не продукт. Наймите адекватных специалистов.

Barclay
И наконец, когда данных очень много, клику всё-таки требуется хранилище, как бы не расписывали ваши продажники, что можно работать без хранилища на клике, а это уже другие косты, так не проще ли сразу строить нормальный BI backend?

Бизнес хочет просто заплатить денег и получить результат, не задумываясь о технологии внедрения и архитектуре. Это нормально. И по поводу использования Qlik'а без хранилища продавцы продукта отвечают верно -- действительно, из выгруженной портянки данных из любой системы, особо не задумваясь о серьезном проектировании чего-либо промежуточного, таки можно построить качественный отчет в Qlik'е. И руководитель ИТ должен быть доволен, что он на одном инструменте может быстро порешать критичные для бизнеса задачи.

Вот только, в отличие от бизнеса, руководитель ИТ как раз должен думать и о технологиях и об архитектуре и обо всем этом вместе думать в перспективе. И он должен понимать, когда нужно перейти от выгрузки портянок и перейти к нормальной интеграции данных. И не надо тут перекладывать задачу планирования развития BI-системы на продаванов вендора.

Конечно, ИТ очень хочется чтобы вендор продумал за них стратегию развития BI, убедил "подождать" пока ИТ все сделает "правильно" и, главное, убедил бизнеса в необходимости выделения на все это ресурсов. Но это не задача вендора.

Очень хорошо, что сейчас у вас все понимают, что масштабные задачи нужно решать на качественно другом уровне. Но только заслуга в этом не ИТ, а провального проекта на Qlik'е, чье развитие ИТ не смогло поддержать на адекватном для компании уровне. Продукт тут тоже не при чем.
13 фев 18, 09:09    [21186822]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 208
George Nordic,

Может расскажешь о том, как организована работа бизнеса и ИТ вокруг системы на Qlik'е в двух кейсах?
1. Qlik без хранилища -- в каких случаях и для какого масштаба оно нормально работает;
2. Qlik без хранилища не обойдется -- в каком ландшафте и на каком масштабе без полноценного бэкенда на реляционке не жить.
13 фев 18, 09:13    [21186830]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Полковник.
Member

Откуда:
Сообщений: 1639
Коллеги, во всем виноват непрофессионализм в совокупности с воинствующим делетантизмом. Видел и как нахреначили в ms sql ни одного суррогатного ключа и qlik с кучей qvd файлов костыль на костыле.
Правда qlik сам в какой то степени виноват, если в западных конторах это инструмент аналитика и работает поверх ХД, то в России на нем пытаются сделать все слои аналитической системы, и ничего хорошего пока из этого не вышло.
13 фев 18, 09:43    [21186890]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Alex_496
Member

Откуда: Moscow https://www.dvbi.ru
Сообщений: 3564
о чем спор?
давно понятно, каков поп - таков и приход.
Хочет эффективный менеджмент заказать быстро занедорого что-то сваять, таки появляются аджайл девелоперы. Как говорится, они друг друга нашли и счастья им.
Другая крайность - развозят бесконечные игрища с вИдениями, обследованиями, сменами архитектур, платформ, перебором подрядчиков и толпами студней в итоге - и им счастья.
13 фев 18, 11:35    [21187224]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
SpellBuilder
slovnet,

Ну вот Вам и ответ, компетенции, нежелание восстанавливать и погружаться в другое, прокачка своих скилов и обоснование удешевление и все плохо. Наша классика.

Браво!
Хотя насчёт цен за лицензии/облака может они и правы.
Если 100-200 юзеров, может выгодней MSSQL+PBI.
13 фев 18, 12:18    [21187387]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4826
мы уже довольно далеко ушли от темы ТСа :)

я не большой спец по Qlik, более знающие коллеги поправят...
не обсуждая вопрос цены, а только технические аспекты.

т.к. Qlik создаёт qvd файлы (каждый файл одна таблица),
эти файлы могут читать Qlik скрипты нескольких приложений,
эти файлы допускают инкрементыльную подгрузку (как это реализовано сейчас не важно),
то по сути мы имеем файловое ХД.

- да, реализация стейджа через промежуточные qvd файлы
- да, метаданные нужно вести руками и делать это очень аккуратно
- да, ETL скрипты "статичны" (нет переиспользования кода)
- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами
- да, это файловое ХД доступно только Qlik-у и больше никому

но тем не менее... при желании и достаточном уровне знаний построить достаточно адекватную BI экосистему можно.
13 фев 18, 12:57    [21187545]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Дедушка
мы уже довольно далеко ушли от темы ТСа :)

я не большой спец по Qlik, более знающие коллеги поправят...
не обсуждая вопрос цены, а только технические аспекты.

т.к. Qlik создаёт qvd файлы (каждый файл одна таблица),
эти файлы могут читать Qlik скрипты нескольких приложений,
эти файлы допускают инкрементыльную подгрузку (как это реализовано сейчас не важно),
то по сути мы имеем файловое ХД.

Да, всё так.

Дедушка
- да, реализация стейджа через промежуточные qvd файлы

Можете объяснить чем это плохо? Добавляет пресловутой костыльности?
Дедушка
- да, метаданные нужно вести руками и делать это очень аккуратно

Можете описать как в классических системах метаданные ведутся не руками?
В клике это действительно очень кропотливая работа, легко упустить из виду "мелочи".
Дедушка
- да, ETL скрипты "статичны" (нет переиспользования кода)

Это проблема, иногда большая. Особенно когда пишешь очень громоздкие формулы с сет аналисис для пересчёта "на лету", и эти громоздкие конструкции распиханы в ГУИ по разными местам, и нельзя, условно, "написать и вызывать функцию". Хотя в QS есть MasterItems, с ним надо ещё поиграться.
Если же говорить о "повторном использовании кода" на уровне загрузки, то в клике уместно говорить о "повторном использовании QVD файлов". То есть могу уже почищенную, вылизаную, сведенную дату сложить в QVD-шку и обращаться к ней из разных мест.
Дедушка
- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами

Согласен. Очевидно, как раз из-за упомянутых Вами проблем.
Дедушка
- да, это файловое ХД доступно только Qlik-у и больше никому

Это, видимо, один из главных недостатков.
В принципе, на уровне костылей, можно выгружать в CSV вместо QVD и тянуть из них наружу.
Дедушка
но тем не менее... при желании и достаточном уровне знаний построить достаточно адекватную BI экосистему можно.

Да, и тут вопрос костов очень важен. Если данных немного, то с большой вероятностью имеет смысл.
Проблема только, что когда объёмы растут, можно столкнутся с полной перестройкой ETL/DWH на другие технологии.
13 фев 18, 13:29    [21187665]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Barclay
Barclay, а не могли бы Вы чуть подробней по пунктам описать где конкретно плохо:

1. Стоимость решений/лицензий на клике(очень высоко в сравнении).
Если речь о решениях - какие именно решения на клике дороги (ETL, DWH, морда) и в сравнении с чем?
Если о лицензиях - с какими продуктами сравнивали, скажем, можете сравнить стоимость PowerBI и Qlik?

2. Целостность данных - можете дать пример конкретной проблемы с ассоциативной моделью и описание решения другим инструментарием (каким?) ?

3. "Когда данных очень много, клику всё-таки требуется хранилище." На каких объёмах пришли к выводу что кликовского решения ХД недостаточно?
Какие альтернативы решили проблему и каков порядок костов (лицензии, человекочасы)?

4. "BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу".
Так PowerBI или Lumira?
А ETL, DWH на чём?
Что значит "пошло как по маслу"? Лицензии_дешевле_&_время_разработки_короче_&_с_ целостностью_данных_вообще_нет проблем_&_etc ? Или как-то иначе?

Заранее спасибо.

P.S. Мой интерес не праздный.
Возможно, благодаря Вашим ответам удастся убедить моё начальство протестировать у нас другие продукты.


1. Стоимость решений ~ Среда разработки 64 gb + продуктив 384 gb = в ЦОДе стоИт (дорого стОит). + лицензии (около 40 тыс$/год) точную сумму я не буду писать.

В сравнении с SQL Server Software Assurance + Pro cloud, около 20 тыс $/год

2. Конкретные примеры? Есть множество QVD с непонятной недокументированной логикой от предыдущей команды, и гора инцидентов, при разборе которых выяснялось, что в полях, где должны быть буквы оказались цифры. На этой негативной ноте всё и "порешилось" в сторону PBI, Lumira. Естественно, что не в один день.
А я как-то не горю желанием доказывать руководству, обратное, что клик - он хороший, просто нужно провести трудоемкую ревизию месяцев на 6 с разбором всей логики, расчетов и пр. Тогда как сам я занимаюсь Microsoft'ом, SAP'ом.

3. Около 100 gb ежемесячно

4. Lumira для 5 юзеров контроллинга с отчетами напрямую из CDS view (SAP FI/CO),
PowerBi для всех остальных юзеров(sales) (SQLServer DWH+SSIS+SSAS+PowerBI report server). с целостностью данных нет проблемы, вы правы, этот вопрос решается при загрузке в DWH.


Насчёт цен за лицензии/облака возможно Вы правы.
Судя по Вашему описанию у вас 100-200 юзеров.
Возможно выгодней MSSQL+PBI.
Хотя конечно надо считать конкретно.

Насчёт всего остального вот SpellBuilder хорошо написал:
SpellBuilder
Ну вот Вам и ответ, компетенции, нежелание восстанавливать и погружаться в другое, прокачка своих скилов и обоснование удешевление и все плохо. Наша классика.


То есть очень распространённая ситуация - ругают инструмент, топы верят, вбухивают кучу денег в замену, а копнёшь чуть - дело в исполнителях, или в их отсутствии.
13 фев 18, 15:00    [21188057]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Barclay
Member

Откуда:
Сообщений: 73
Ребята, вы все правы. Проведу аналогию.
Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd)
Красивый, полноприводный "джип". Ну мы поехали в тайгу, и застряли. Кто виноват?
Водитель? Range Rover? Продавец? Менеджер?
Да никто не виноват, каждый делал свою работу, кто-то очень хорошо, кто-то поверхностно в соответствии со своими представлениями о тайге.
Но выруливать и вызывать трактор придется водителю, и проще поругать range Rover, ибо менеджера априори бессмысленно(или нельзя), продавана хрен найдешь и не предъявишь, а ренжик вот он твой, ругай его сколько влезет, и предупреди друга чтобы не попал в такую же ситуацию:)
Как-то так.
13 фев 18, 15:14    [21188122]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Barclay,
Да нет, всё легитимно.
Но (возможно) здесь более уместна немного другая аналогия (без обид):

Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd).
Ну мы взяли специального водилу, спеца по этому ренжику. А он зачем-то ушёл/его ушли и пришёл другой водила, спец по Hummer.
Вроде похоже, но специфика в тайге разная. И вот он на этом ренжике застрял в тайге.
Ну у него есть два варианта - научиться как ренжиком в тайге пользоваться или впарить босса что ренжик надо в помойку, а закупить вместо хаммер, причём заодно по городу тоже на хаммере.
Ну и заодно сообщить на джиповом форуме что, мол, ренжик не айс, а вот купили хамер, и пошло как по маслу.

Дисклеймер: поскольку эта аналогия, как любая аналогия, не описывает ситуацию точно, то правда находится где-то посерёдке между Вашим и нашим мнением.
13 фев 18, 15:56    [21188319]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Barclay
Member

Откуда:
Сообщений: 73
slovnet
Barclay,
Да нет, всё легитимно.
Но (возможно) здесь более уместна немного другая аналогия (без обид):

Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd).
Ну мы взяли специального водилу, спеца по этому ренжику. А он зачем-то ушёл/его ушли и пришёл другой водила, спец по Hummer.
Вроде похоже, но специфика в тайге разная. И вот он на этом ренжике застрял в тайге.
Ну у него есть два варианта - научиться как ренжиком в тайге пользоваться или впарить босса что ренжик надо в помойку, а закупить вместо хаммер, причём заодно по городу тоже на хаммере.
Ну и заодно сообщить на джиповом форуме что, мол, ренжик не айс, а вот купили хамер, и пошло как по маслу.

Дисклеймер: поскольку эта аналогия, как любая аналогия, не описывает ситуацию точно, то правда находится где-то посерёдке между Вашим и нашим мнением.


Соглашусь с вами, правда она где-то посередине. Однако вы должны знать, что мы ощущаем как владельцы клика
RR в качестве примера взят неспроста, наши дашборды выглядят иногда также.

+
Картинка с другого сайта.
13 фев 18, 20:43    [21189134]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Barclay,

Ну мы вообще-то такие же "владельцы клика" как вы, нам тоже достался невзлетевший у внедренцев клик.
Знайте и вы что мы ощущаем:)
Ну, разобрались с кликом и теперь идёт "как по маслу", уже года 3. Написал в кавычках потому что не верю что в какой либо BI системе всё может идти "как по маслу".
14 фев 18, 16:51    [21191649]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1581
slovnet
Barclay,
Да нет, всё легитимно.
Но (возможно) здесь более уместна немного другая аналогия (без обид):

Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd).
Ну мы взяли специального водилу, спеца по этому ренжику. А он зачем-то ушёл/его ушли и пришёл другой водила, спец по Hummer.
Вроде похоже, но специфика в тайге разная. И вот он на этом ренжике застрял в тайге.
Ну у него есть два варианта - научиться как ренжиком в тайге пользоваться или впарить босса что ренжик надо в помойку, а закупить вместо хаммер, причём заодно по городу тоже на хаммере.
Ну и заодно сообщить на джиповом форуме что, мол, ренжик не айс, а вот купили хамер, и пошло как по маслу.

Дисклеймер: поскольку эта аналогия, как любая аналогия, не описывает ситуацию точно, то правда находится где-то посерёдке между Вашим и нашим мнением.

Клик ругают потому, что его хранилище - это свалка QVD. То есть "вещь в себе". По сути аналогия такая. Вы покупаете с приятелями несколько маленьких джипов и мощный субурбан для себя. Едете в тайгу и один из маленьких сузуки застревает в грязи. Вы гордо говорите "давай трос, сдерну" - а оказывается, что таки цеплять некуда, все петли выдираются с корнем при малейшем натяге или вообще отсутствуют.
То есть джип у Вас есть. Мощный, дорогой. Но Вы его продадите и купите обычный дефендер, без претензий, а то и газик или ниву какую-нибудь.
А необходимость выгружать что-то из хранилища помимо красивых дашбордов и графиков клика осознается не сразу. И поэтому воспринимается затем всеми как подстава. А это не так. Просто Вы сами при покупке немного не предусмотрели. Ну таки и нельзя сразу быть мудрым как царь Соломон и все предусмотреть.
14 фев 18, 18:53    [21192049]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1878
Andy_OLAP
что его хранилище - это свалка QVD. То есть "вещь в себе"

Ну у многих в голове и дома свалка. Можно наплодить в DWH витрин и жить с эти, а можно порядок навести. Другое дело в DWH
можно запросы погонять и сразу посмотреть, а чего там налили. А в Qlik это немножко по другому, народ теряется языка начальной школы, это я про стандарт SQL. Опять же если портянки выгружать городить пользователям которые не могут без своих Excel.
Задача 1 ярд проводок, задача отобрать для изучения сторнирующие, которые были для изучения, корреспонденции, документов и т.п, затем еще чем то ограничить. Время 5 сек. Ну в простом qlik, это вообще не задача. Вопрос как сделать в MS?
15 фев 18, 09:42    [21192877]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1878
Да, индекса по признаку сторно конечно нет, признак то несущественный, партицирование обычное помесячное. Проводки за год.
15 фев 18, 09:46    [21192894]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31925
Блог
SpellBuilder,

из миллиарда проводок обладать нужными признаками будет что-то около миллиона,
а зачем пользователю портянка из миллиона строк?

вероятно, не нужна, а нужен какой-то агрегат - смотрим на кубы или реализуем колоночные индексы в ХД,
проблема решена
15 фев 18, 09:52    [21192911]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
Задача 1 ярд проводок, задача отобрать для изучения сторнирующие, которые были для изучения, корреспонденции, документов и т.п, затем еще чем то ограничить. Время 5 сек. Ну в простом qlik, это вообще не задача. Вопрос как сделать в MS?
Да, индекса по признаку сторно конечно нет, признак то несущественный, партицирование обычное помесячное. Проводки за год.


На мой взгляд, Клик - это обычная реляционная СУБД (имеющая интегрированные средства визуализации). При загрузке данныз в Клик тратится время, оно как раз уходит на то, чтобы построить индексы по всем полям. Если в MS SQL Server тоже сделать индексы, то производительность в целом должна быть аналогичной.
15 фев 18, 09:54    [21192923]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1878
Критик
SpellBuilder,

из миллиарда проводок обладать нужными признаками будет что-то около миллиона,
а зачем пользователю портянка из миллиона строк?

вероятно, не нужна, а нужен какой-то агрегат - смотрим на кубы или реализуем колоночные индексы в ХД,
проблема решена

Я выше написал отобрать 5 сек, почесать репу, наложить еще фильтр 5 сек, подумать, еще наложить. Понять что то для себя.
Ага, куб с полной атрибутикой проводок и заголовков документов их породивших, ну ну.
15 фев 18, 10:47    [21193125]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1878
Jurii
Задача 1 ярд проводок, задача отобрать для изучения сторнирующие, которые были для изучения, корреспонденции, документов и т.п, затем еще чем то ограничить. Время 5 сек. Ну в простом qlik, это вообще не задача. Вопрос как сделать в MS?
Да, индекса по признаку сторно конечно нет, признак то несущественный, партицирование обычное помесячное. Проводки за год.


На мой взгляд, Клик - это обычная реляционная СУБД (имеющая интегрированные средства визуализации). При загрузке данныз в Клик тратится время, оно как раз уходит на то, чтобы построить индексы по всем полям. Если в MS SQL Server тоже сделать индексы, то производительность в целом должна быть аналогичной.

Ага давайте, постройте индексы по всем полям в табличке проводок с сотней миллионов и документов раза в 3 меньше проводок и по обновляйте (связанные справочник контрагентов и счетов, пока не смотрим).
15 фев 18, 10:53    [21193151]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
Ага давайте, постройте индексы по всем полям в табличке проводок с сотней миллионов и документов раза в 3 меньше проводок и по обновляйте (связанные справочник контрагентов и счетов, пока не смотрим).

Похоже мы на пути к тому, чтобы найти одну сильную сторону Клика, ради которой аналитик может скачать и установить себе бесплатную версию Клика ;) Вопрос только в том, насколько регулярно требуется так работать с проводками, поможет ли клик найти что-то ценное. Компаний, в которых сотни миллионов и более записей, требующих подобного исследования - не так много, и обычно железо у них соответствующее, позволяет в MS SQL Server без индексов достаточно быстро отбирать данные из одной таблицы (если подключать справочники, то запросы станут посложнее, и нужно будет грамотно играться с OUTER JOINs). Клик конечно мощнее, чем автофильтр Excel и удобнее, чем голый Management Studio. Но как альтернативу Клику для таких Ad-hoc задач я бы рассмотрел дефолтный построитель физических OLAP-кубов, который позволяет автоматически сгенерить структуру куба исходя из автоматического анализа типов данных и выявления иерархий, в кубе посчитаются агрегаты во всех разрезах, в измерениях будут наглядно видны все найденные во всех полях непустые значения, и куб будет летать на слабом компьютере. А вот в Клик я как-то загрузил 150 миллионов записей, и у меня эти данные е летали, что логично, поскольку Клик не считает агрегаты при загрузке данных и требует серьезное железо.
15 фев 18, 11:13    [21193224]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1581
SpellBuilder
Критик
SpellBuilder,

из миллиарда проводок обладать нужными признаками будет что-то около миллиона,
а зачем пользователю портянка из миллиона строк?

вероятно, не нужна, а нужен какой-то агрегат - смотрим на кубы или реализуем колоночные индексы в ХД,
проблема решена

Я выше написал отобрать 5 сек, почесать репу, наложить еще фильтр 5 сек, подумать, еще наложить. Понять что то для себя.
Ага, куб с полной атрибутикой проводок и заголовков документов их породивших, ну ну.

Нет, коллега, не так. Начать поиски в миллиарде проводок. Найти 15 миллионов проводок, которые нужно анализировать дальше. Попробовать сверить с исходными учетными системами (ERP, CRM). Понять, что их разработчики/админы владеют только SQL и помогут выдергивать запросами части из этих 15 миллионов строк. Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее. Обалдеть от мысли, что хранилище Qlik - это вещь в себе и все равно нужно для него отдельное хранилище DWH. Обалдеть от мысли, что начальство в полной уверенности, что это и DWH, и Reporting, и красивая выгрузка в CSV для отправки внешних контрагентам для дальнейшей сверки между фирмами. Обалдеть от мысли, сколько на самом деле трудов будет стоить любая переделка (красивая реализация по ТЗ в клике - да, шаг вправо, шаг влево после этого - попытка к бегству и немедленное наказание).
Вот как-то так...
15 фев 18, 11:25    [21193263]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1714
Дедушка
- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами
- да, это файловое ХД доступно только Qlik-у и больше никому
.

если я правильно понял, это не баг, а фича )
т.е. за счет этих недостатков, пользователю дается возможность быстро построить прототип BI системы, выдать отчет руководству/понять какие отчеты нужны
15 фев 18, 11:26    [21193264]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1581
StarikNavy
Дедушка
- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами
- да, это файловое ХД доступно только Qlik-у и больше никому
.

если я правильно понял, это не баг, а фича )
т.е. за счет этих недостатков, пользователю дается возможность быстро построить прототип BI системы, выдать отчет руководству/понять какие отчеты нужны

За счет этих недостатков таки и реализуется продажа лицензий. Когда пользователю руки выламывают - это вряд ли можно трактовать как его возможность что-либо сделать.
15 фев 18, 11:41    [21193310]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
если я правильно понял, это не баг, а фича )
т.е. за счет этих недостатков, пользователю дается возможность быстро построить прототип BI системы, выдать отчет руководству/понять какие отчеты нужны
За счет этих недостатков таки и реализуется продажа лицензий. Когда пользователю руки выламывают - это вряд ли можно трактовать как его возможность что-либо сделать


Да, сейчас уже можно быстро, за 1-2 дня, строить не прототип, а вполне полноценное ХД, и на его основе - BI. Вместо Клика для этого проще всего использовать Искусственный интеллект (который автоматически сформирует ХД в MS SQL Server) + дефолтный BI.
15 фев 18, 11:50    [21193331]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1878
Andy_OLAP
SpellBuilder
пропущено...

Я выше написал отобрать 5 сек, почесать репу, наложить еще фильтр 5 сек, подумать, еще наложить. Понять что то для себя.
Ага, куб с полной атрибутикой проводок и заголовков документов их породивших, ну ну.

Нет, коллега, не так. Начать поиски в миллиарде проводок. Найти 15 миллионов проводок, которые нужно анализировать дальше. Попробовать сверить с исходными учетными системами (ERP, CRM). Понять, что их разработчики/админы владеют только SQL и помогут выдергивать запросами части из этих 15 миллионов строк. Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее. Обалдеть от мысли, что хранилище Qlik - это вещь в себе и все равно нужно для него отдельное хранилище DWH. Обалдеть от мысли, что начальство в полной уверенности, что это и DWH, и Reporting, и красивая выгрузка в CSV для отправки внешних контрагентам для дальнейшей сверки между фирмами. Обалдеть от мысли, сколько на самом деле трудов будет стоить любая переделка (красивая реализация по ТЗ в клике - да, шаг вправо, шаг влево после этого - попытка к бегству и немедленное наказание).
Вот как-то так...

Не понял зачем QVD гнать в хранилище. Определил что не так, звонищь или лезешь в учетную систему вбиваешь в фильтр атрибуты, находишь нужное правишь или отправляешь список через Excel, сохраняешь отбор на портале, просишь разобраться и т.п.
Переделка трудов, каких вообще не вопрос.
Я не люблю Qlik именно за простоту, из-за этого по этому продукту низкие з.п.. Поэтому и не занимаюсь им, а так иногда.
P/s/ Основная цель qvd ускорить загрузку в модель сотни тысяч строк в секунду, это упрощает update
15 фев 18, 12:24    [21193459]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1581
SpellBuilder
Andy_OLAP
пропущено...

Нет, коллега, не так. Начать поиски в миллиарде проводок. Найти 15 миллионов проводок, которые нужно анализировать дальше. Попробовать сверить с исходными учетными системами (ERP, CRM). Понять, что их разработчики/админы владеют только SQL и помогут выдергивать запросами части из этих 15 миллионов строк. Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее. Обалдеть от мысли, что хранилище Qlik - это вещь в себе и все равно нужно для него отдельное хранилище DWH. Обалдеть от мысли, что начальство в полной уверенности, что это и DWH, и Reporting, и красивая выгрузка в CSV для отправки внешних контрагентам для дальнейшей сверки между фирмами. Обалдеть от мысли, сколько на самом деле трудов будет стоить любая переделка (красивая реализация по ТЗ в клике - да, шаг вправо, шаг влево после этого - попытка к бегству и немедленное наказание).
Вот как-то так...

Не понял зачем QVD гнать в хранилище. Определил что не так, звонищь или лезешь в учетную систему вбиваешь в фильтр атрибуты, находишь нужное правишь или отправляешь список через Excel, сохраняешь отбор на портале, просишь разобраться и т.п.
Переделка трудов, каких вообще не вопрос.
Я не люблю Qlik именно за простоту, из-за этого по этому продукту низкие з.п.. Поэтому и не занимаюсь им, а так иногда.
P/s/ Основная цель qvd ускорить загрузку в модель сотни тысяч строк в секунду, это упрощает update

"Определил что не так" - что-то не так с одной-двумя-тремя из 15 миллионов строк. Не миллиард строк, уже проще, но все равно - лучше искать иголку в стогу сена с помощью сильного магнита.
"находишь нужное правишь" - Вы на секунду поставьте себя на место разработчика исходной системы. Я уже не говорю про "правишь", я про "находишь". У Вас 15 миллионов строк, у него 20 тысяч возможных вариантов для поиска. Ну и?
"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :)
15 фев 18, 12:31    [21193491]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Andy_OLAP
Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее.

Не понял, зачем это?
При грамотном построении вся Raw Data есть уже в Qlik, делайте зум куда надо и сверяйте глазами.
Или я что-то неверно понял?
15 фев 18, 12:44    [21193544]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Ну если очень хочется поизвращаться - выгружайте из клика в CSV и балуйтесь.
15 фев 18, 12:46    [21193555]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1581
slovnet
Andy_OLAP
Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее.

Не понял, зачем это?
При грамотном построении вся Raw Data есть уже в Qlik, делайте зум куда надо и сверяйте глазами.
Или я что-то неверно понял?

"При грамотном построении вся" - согласен, но таки есть нюанс. На момент построения - да, была вся. А теперь нужно допилить и перепилить и уже не вся. И всё. Приплыли...
15 фев 18, 12:54    [21193589]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Andy_OLAP,

Куда приплыли?
Что нужно допилить и перепилить?
Поля/таблицы добавить? Что здесь сложного?
Добавил новую таблицу в выгрузку, свёл её в снежинку.
Дольше чем в куб добавлять?

P.S. Если б мои юзеры для сверения данных должны были бы кого-то заставлять к учетной системе SQL-костыли прикручивать, меня бы давно выгнали.
У меня юзер пальцем показывает - вот здесь в этом доке сумма такая, а в учётной - такая.
15 фев 18, 13:05    [21193626]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
2 slovnet:

Добавил новую таблицу в выгрузку, свёл её в снежинку.

Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет.
В традиционном ХД сначала проводки из разных баз попадают в одну таблицу фактов, потом присоединяются трансформационные правила, которые либо отсутствуют для такой-то проводки, либо превращают одну проводку в одну или несколько управленческих записей, без потери связи с этой проводкой. Гладко этот процесс никогда не происходит, нужно выверять трансформированные данные.

Вопрос в том, можно ли в Клике играться с OUTER JOINs, чтобы вывести трансформационные правила, для которых не нашлись проводки, а также вывести проводки, для которых не нашлись трансформационные правила? Будем считать, что каждое правило задается для комбинации диапазона дат, организации, счета Дт, Счета Кт и набора кодов или значений субконто (номенклатура, контрагент, статья затрат, и т.п.). И поддерживает ли Клик связи между таблицами, когда не только задано равенство по совпадающим названиям полей, а когда названия полей в связях не совпадают, когда добавляются условия что дата между ДатыС и ДатыПо, можно ли дополнительные условия задавать что такое-то поле не равно другому полю или не равно набору констант, и т.п.

P.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;)
15 фев 18, 13:33    [21193735]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Полковник.
Member

Откуда:
Сообщений: 1639
Jurii,

Много слов. Российские суровые бухи все это прекрасно делают в excel.
15 фев 18, 14:02    [21193862]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
2 Полковник:

Много слов. Российские суровые бухи все это прекрасно делают в excel.

Много слов, поскольку я все это не раз автоматизировал, а потом еще обучал этому Искусственный интеллект. В Челябинске вероятно это не так актуально, но в других регионах бухгалтера менее суровы, и Excel притормаживает на больших объемах данных.
15 фев 18, 14:26    [21193980]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1011
Jurii
Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet.
Юрий, простите, Вас ваша мама вежливости не учила? Извольте не превращать сообщество в балаган.

Я тут. Просто сделали замечание что меня слишком много, я принял мнение коллег к сведению.

Сходку - готов организовать. Предлагаю когда чуть потеплеет. Со slovnet с удовольствием познакомлюсь. Родственников, которые занимаются BI, к сожалению, нет. Привычки писать под несколькими аккаунтами не имею.

Дедушка
я не большой спец по Qlik, более знающие коллеги поправят...
Жаль. Толковые люди нужны как воздух. Хотя, толковы люди и так нужны, вне зависимости от системы.
Дедушка
т.к. Qlik создаёт qvd файлы (каждый файл одна таблица)
не совсем. один QVD файл может содержать данные из нескольких таблиц. Данный файл может быть источником данных как для одного приложения, так и для нескольких, также можно его преобразовывать в другие qvd-файлы. Да по сути мы имеем файловое ХД (там лежит дамп памяти, скорость загрузки с диска в память очень высокая)

Кэптен
Любой мало-мальский спец в логистике знает, что есть цепочки поставок, а не цепи ;)
Не позорьтесь, если не знаете. Это не ювелирный магазин. Специалисты как раз говорят "цепи поставок".

Roman Kolchin
George Nordic,
Может расскажешь о том, как организована работа бизнеса и ИТ вокруг системы на Qlik'е в двух кейсах?
1. Qlik без хранилища -- в каких случаях и для какого масштаба оно нормально работает;
2. Qlik без хранилища не обойдется -- в каком ландшафте и на каком масштабе без полноценного бэкенда на реляционке не жить.
Ром, привет. Хороший вопрос. Действительно, 2 разных подхода есть. Я лично сторонник DWH, так как Qlik - это ADWH, DWH в первую очередь решает другие задачи, в первую очередь связанные с хранением исторических данных. Qlik - это выгрузка, слепок... использовать его для хранения - неразумно, хотя я и видел пример (чеки хранили).

Если в компании есть учетная система, в которой хранятся транзакции и мастер-данные предприятия (например Dynamics), то в DWH зачастую нет необходимости - данную функцию выполняет сама учетная система. Или учетная система + отдельно транзакционная (POS, EAM, WMS) - по сути, имеем 2 хранилища, Qlik может брать данные сразу из множества систем. Так что для средних предприятий Qlik можно натравить и напрямую. Даже в банках подобные примеры видел - Запсибкомбанк в одном приложении Qlik загрузили и связали всех клиентов, клиентские продукты, счета, карты, операции по картам, и транзакции + несколько сот миллионов остатков. При этом считают, что отсутствие необходимости DWH - это плюс. А это 61й банк в рейтинге, на секундочку.
Но, как я и говорил, я сторонник связки DWH+ADWH: в DWH необходимо хранить минимум необходимой информации, где нужна историчность, которая будет использоваться + ADWH для решения аналитических задач. Как-то так.

Да, коллеги, чтобы хорошо проследить метаданные в Qlik есть хорошее решение от Nodegraph. Больше информации на комьюнити.

С Уважением,
Георгий.
15 фев 18, 15:12    [21194167]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
Георгий,

Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet.
Юрий, простите, Вас ваша мама вежливости не учила? Извольте не превращать сообщество в балаган.

Я тут. Просто сделали замечание что меня слишком много, я принял мнение коллег к сведению.

Я думаю, что немного английского юмора не повредит нашей тусовке ;) Если серьезно, то я стараюсь у нас на форуме создать более интересный и разнообразный контент для обучения Искусственного интеллекта, который, надеюсь, через год сможет делать интересные селекты к нашему форуму ;)

Сходку - готов организовать. Предлагаю когда чуть потеплеет. Со slovnet с удовольствием познакомлюсь.

Вам нужно его активно хантить, он незаменимый сотрудник для Вашей коммерческой службы ;)

Родственников, которые занимаются BI, к сожалению, нет. Привычки писать под несколькими аккаунтами не имею.

Значит ИИ не выявит Вас как автора постов из под разных ников. А по поводу родственников - предлагаю на BI сходке обсудить этот вопрос, если конечно г-н Andy_OLAP посетит нашу сходку ;)
15 фев 18, 15:36    [21194263]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1714
Andy_OLAP
"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :)


недельку ищешь владельца/ответственного за эти данные, потом месяц согласовываешь изменения, потом плюешь и тихо правишь у себя в двх ))))
15 фев 18, 17:35    [21194732]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Jurii
2 slovnet:

Добавил новую таблицу в выгрузку, свёл её в снежинку.

Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет.
В традиционном ХД сначала проводки из разных баз попадают в одну таблицу фактов, потом присоединяются трансформационные правила, которые либо отсутствуют для такой-то проводки, либо превращают одну проводку в одну или несколько управленческих записей, без потери связи с этой проводкой. Гладко этот процесс никогда не происходит, нужно выверять трансформированные данные.

Вопрос в том, можно ли в Клике играться с OUTER JOINs, чтобы вывести трансформационные правила, для которых не нашлись проводки, а также вывести проводки, для которых не нашлись трансформационные правила? Будем считать, что каждое правило задается для комбинации диапазона дат, организации, счета Дт, Счета Кт и набора кодов или значений субконто (номенклатура, контрагент, статья затрат, и т.п.). И поддерживает ли Клик связи между таблицами, когда не только задано равенство по совпадающим названиям полей, а когда названия полей в связях не совпадают, когда добавляются условия что дата между ДатыС и ДатыПо, можно ли дополнительные условия задавать что такое-то поле не равно другому полю или не равно набору констант, и т.п.

Поскольку в Qlik всё считается на лету, то (в идеале) не надо заранее задавать никакие правила.
Выборка юзера по любой комбинации измерений автоматически отфильтрует все записи.
Если надо дать возможность отфильтровать по отсутствию данных в каком-либо измерении (или группе измерений), можно при загрузке вписать в соответствующие поля значение вроде "NotDefined" и дать юзеру фильтровать по этому значению.
Разумеется, можно ввести флаги которые отмечают пуста ли некая группа измерений и дать юзеру фильтровать по ним и смотреть в каких записях поднят данный флаг.

Связь по одноимённым полям - техническая деталь, ничему не мешает, если надо, поля переименовывaются при загрузке.
Условие по диапозону дат - это условие для фильтра, задаётся на лету, при чём здесь связи между таблицами?
Jurii
P.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;)


P.S. Если Ваш "интеллект" - такой же плоский параноик и конспиролог как его создатель, не стоит его допускать в продакшн - свяжет всех контрагентов в одного потому что они "вместе не пишут" или "похожи на родственников", определит клиентов в поставщики потому что "разговаривают как продавцы" завалит бизнес и будет оправдываться английским юмором (при полном его отсутствии и космическом занудстве).
15 фев 18, 17:41    [21194747]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
StarikNavy
Andy_OLAP
"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :)


недельку ищешь владельца/ответственного за эти данные, потом месяц согласовываешь изменения, потом плюешь и тихо правишь у себя в двх ))))


А это только в клике так при большом количестве данных и их источников?
15 фев 18, 17:46    [21194760]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31925
Блог
StarikNavy,

у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH )
15 фев 18, 17:49    [21194768]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Критик
StarikNavy,

у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH )


))))))))))))))
15 фев 18, 18:00    [21194802]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Полковник.
Member

Откуда:
Сообщений: 1639
Критик
StarikNavy,

у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH )


Когда в источнике они всё-таки поменяют, это же учётная система, то твой костыль от'едет (((
Сказка про русских программистов трёх поросят - они так быстро строят свой домик из г-вна и палок, что серый волк - заказчик не успевает его разрушать.
16 фев 18, 08:07    [21195572]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
2 slovnet:

Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет.
Поскольку в Qlik всё считается на лету, то (в идеале) не надо заранее задавать никакие правила.
Выборка юзера по любой комбинации измерений автоматически отфильтрует все записи.


Так, есть у нас 10 тысяч правил трансформации факта из БУ в УУ. Берем мы Клик, и каждое правило по очереди настраиваем в фильтрах, смотрим на экране какие проводки под него подпадают. Потом берем калькулятор, умножаем сумму каждой проводки на коэффициент (удельный вес) управленческого ЦФО, на который надо разнести часть этой бухгалтерской проводки, на бумаге пишем список управленческих проводок. Потом этот миллион новых управленческих проводок за месяц экономисты с бумаги переносят в Excel ;) Инновационный подход, расскажу о нем в своем докладе на ближайшей конференции по Искусственному интеллекту ;)

Если надо дать возможность отфильтровать по отсутствию данных в каком-либо измерении (или группе измерений), можно при загрузке вписать в соответствующие поля значение вроде "NotDefined" и дать юзеру фильтровать по этому значению.
Разумеется, можно ввести флаги которые отмечают пуста ли некая группа измерений и дать юзеру фильтровать по ним и смотреть в каких записях поднят данный флаг.


В целом идея понятная, но к трансформации факта его применить нельзя. Вероятно Вы просто пока не решали подобные задачи.

Условие по диапозону дат - это условие для фильтра, задаётся на лету, при чём здесь связи между таблицами?

Например, есть таблица с себестоимостью товара, с полями ДатаС, ДатаПо, КодТовара, СебестоимостьРуб. Есть таблица продаж, с полями ДатаПродажи, КодТовара, КоличествоПродаж, Цена. Эти таблицы связываются по полю КодТовара и одновременно по условию, что ДатаПродажи между ДатаС и ДатаПо. Аналогично и правила трансформации факта - например правило по комбинации счетов и субконто, но в летний сезон у него удельные веса управленческих ЦФО отличаются от зимнего сезона, поэтому кроме привязки по счетам и по субконто нужно делать условие, что дата проводки попадает в диапазон дат, в который действует это правило.

P.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;)
P.S. Если Ваш "интеллект" - такой же плоский параноик и конспиролог как его создатель, не стоит его допускать в продакшн - свяжет всех контрагентов в одного потому что они "вместе не пишут" или "похожи на родственников", определит клиентов в поставщики потому что "разговаривают как продавцы" завалит бизнес и будет оправдываться английским юмором (при полном его отсутствии и космическом занудстве).


Когда мы повысим Ваш IQ и у Вас появится немного чувства юмора, Ваши умозаключения станут более релевантными ;) По поводу контрагентов - у Вас интересные идеи, но ИИ таких грубых ошибок не допускает. А по поводу того, что Вы - родственник Георгия, можно поспорить на 1 Хракойн, что г-н Andy_OLAP, чья репутация не вызывает сомнений, на основе полученной о Вас с Георгием информации скажет, "что вы таки являетесь дальними родственниками, поскольку вы оба - потомки Адама и Евы" ;)
16 фев 18, 09:53    [21195842]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1714
Полковник.
то твой костыль от'едет (((
.

на то он и костыль, да и костыли разные бывают
16 фев 18, 11:16    [21196181]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 208
Jurii
Так, есть у нас 10 тысяч правил трансформации факта из БУ в УУ. Берем мы Клик, и каждое правило по очереди настраиваем в фильтрах, смотрим на экране какие проводки под него подпадают. Потом берем калькулятор, умножаем сумму каждой проводки на коэффициент (удельный вес) управленческого ЦФО, на который надо разнести часть этой бухгалтерской проводки, на бумаге пишем список управленческих проводок.

Да отстаньте вы от Клика с трансформацией учета и костингом. Ему и без этих задач есть чем заняться.
16 фев 18, 15:10    [21197184]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
vikkiv
Member

Откуда: London
Сообщений: 1231
Roman Kolchin,

можно сказать даже больше - отстаньте в теме по Power BI, так понимаю (судя по первой странице форума) что клико-когновские темы непопулярны и экзотическая редкость (да и те больше из серии сам с собой веду беседу), вот горе-продаваны постоянно и присовывают куда не попадя (да ещё и во всеобщее обозрение открыто постоянно лаются между собой) , т.к. некуда больше да и мало кому интересно в профильных темах.
16 фев 18, 16:17    [21197449]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
2 Roman Kolchin:

Да отстаньте вы от Клика с трансформацией учета и костингом. Ему и без этих задач есть чем заняться.

В результате подобных дискуссий появляется много полезной информации. Мы нашли одну важную задачу, которую стоит делать с помощью ИИ в традиционном ХД, а не в Клике. Мы оценили уровень самоуверенности специалистов по продажам Клика, оценили их опыт и кругозор, это защитит заказчиков от потерь денег, теперь они сразу выберут правильное решение. Теперь нам легче будет принять решение, ставить крест на Клике полностью или дать ему шанс занимать свою узкую нишу.

2 vikkiv:

можно сказать даже больше - отстаньте в теме по Power BI, так понимаю (судя по первой странице форума) что клико-когновские темы непопулярны и экзотическая редкость (да и те больше из серии сам с собой веду беседу), вот горе-продаваны постоянно и присовывают куда не попадя (да ещё и во всеобщее обозрение открыто постоянно лаются между собой) , т.к. некуда больше да и мало кому интересно в профильных темах.

Предложите Вашу кандидатуру на должность модератора форума. Тогда Вы сможете банить каждого, кто в такой-то теме позволит себе упомянуть другой программный продукт. Пока Вы модератором не стали, думаю Вы сможете оценить полезность создаваемого контента для обучения Искусственного интеллекта.
16 фев 18, 17:12    [21197703]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Barclay
Member

Откуда:
Сообщений: 73
Jurii, вы многое говорите верно. Но по-моему не у меня одного возникает ощущение, что вы как необученый chatbot со своим ИИ. Хватит уже, так можно совсем вызвать отвращение к ИИ у новичков.
Флаг для ИИ: категория Юмор.
16 фев 18, 19:38    [21197953]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3015
так можно совсем вызвать отвращение к ИИ у новичков

Новички думаю не будут переживать, для них интересна возможность майнинга Хракойнов ;)
16 фев 18, 19:45    [21197961]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Владимир Штепа
Member

Откуда: Hannover
Сообщений: 6003
Ввиду сползания в полный флеймящий оффтоп
вчера, 12:42    [21198662]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2 3 4      [все]
Все форумы / OLAP и DWH Ответить