Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
 Правильное хранилище данных для power bi  [new]
AlexanderGikalo
Member

Откуда:
Сообщений: 4
Доброго дня.
Есть потребность в получении отчетов из нескольких информационных систем(в том числе консолидированных) и отображении их в браузере для пары сотен пользователей. Общие оъемы данных -около 200-300 гигов на текущий момент времени. В связи с этим передо мной стоит вопрос правильного хранения данных, тк лить все напрямую в power bi кажется плохой идеей, тем более что планируется data mining.
Посоветуйте пожалуйста облачную платформу для организации хранилища и предпочтительную структуру данных(power bi умеет работать не только с классической звездой, но ее заполнение дает преимущества в плане обработки медленно меняющихся измерений).
В данный момент смотрю в сторону azure warehose и преобразования всех данных в "звездные" кубы. Очень рассчитываю на советы знающих старожилов)
3 фев 18, 10:44    [21162527]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
KRED
Member

Откуда: München/Augsburg (Germany)
Сообщений: 595
Добрый день AlexanderGikalo,

какие отчоты вам нужны ?

ЗЫ: я не старожил, я сам интересуюсь.
3 фев 18, 11:46    [21162584]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
AlexanderGikalo
Member

Откуда:
Сообщений: 4
KRED,

Максимально бодрые и динамические. Смотрел на табло и клик, но выбрал power bi.
3 фев 18, 13:09    [21162669]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5112
AlexanderGikalo
Посоветуйте пожалуйста облачную платформу
посмотрите для начала сколько это стоит (Power Bi в облаке), если 300-500 тыр в месяц для вас приемлемо, то можно говорить дальше.

что касается "звёзд"... структура хранилища очень сильно зависит от ваших данных.
нельзя сказать, например, звёзды хороши пихаем всё в звёзды.
кроме скорости выборки данных для построения отчёта есть ещё скорость преобразований ваших данных и заливки их в хранилище.
3 фев 18, 14:18    [21162800]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
AlexanderGikalo
Member

Откуда:
Сообщений: 4
Дедушка,

Powеr bi стоит около 650р на человека.
По поводу данных - обычная тема с продажами-посещениями. Преобразование в "кубы" по моим прикидкам будет не особо сложным и затратным, но во избежание двойной работы хочу узнать best practics по хранению данных для подобных целей.
3 фев 18, 15:56    [21162934]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5112
AlexanderGikalo
Powеr bi стоит около 650р на человека.
почитайте про лимиты на ресурсы за эти "650р на человека".

AlexanderGikalo
обычная тема с продажами-посещениями ... узнать best practics по хранению данных для подобных целей.
моделей хранилищ существует, скажем так, больше 5 и ваши "продажами-посещениями" можно реализовать в каждой с учётом нюансов.
например, у вас сложный справочник товаров и у вас вместо звезды может возникнуть снежинка (с последствиями для ETL)
или атрибутика товаров часто меняется и вот вы уже делаете EAV или DataVault.

а потом вы узнаёте про аналитические хранилища с колоночным хранением и прочие MPP системы (типа Greenplum и Clickhouse) и всё становится ещё веселее.

впрочем, если
AlexanderGikalo
по моим прикидкам будет не особо сложным и затратным
то не вопрос.
3 фев 18, 16:34    [21162995]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
T87
Member

Откуда:
Сообщений: 81
AlexanderGikalo
Доброго дня.
Есть потребность в получении отчетов из нескольких информационных систем(в том числе консолидированных) и отображении их в браузере для пары сотен пользователей. Общие оъемы данных -около 200-300 гигов на текущий момент времени. В связи с этим передо мной стоит вопрос правильного хранения данных, тк лить все напрямую в power bi кажется плохой идеей, тем более что планируется data mining.
Посоветуйте пожалуйста облачную платформу для организации хранилища и предпочтительную структуру данных(power bi умеет работать не только с классической звездой, но ее заполнение дает преимущества в плане обработки медленно меняющихся измерений).
В данный момент смотрю в сторону azure warehose и преобразования всех данных в "звездные" кубы. Очень рассчитываю на советы знающих старожилов)

Azure Warehouse Вам не нужен. Нафига Вам mpp для 200-300 гигов данных? Постройте "звездный" DWH в Azure Sql Server, сделайте куб в Azure AS и крутите на нем PBI.
3 фев 18, 22:05    [21163449]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
AlexanderGikalo
Member

Откуда:
Сообщений: 4
T87,

Спасибо за совет. Примерно так и решил поступить)
6 фев 18, 21:46    [21171321]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5112
T87
Нафига Вам mpp для 200-300 гигов данных?
например, чтобы не делать куб, а строить всю отчётность напрямую из ХД.
6 фев 18, 22:13    [21171390]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
T87
Member

Откуда:
Сообщений: 81
Дедушка
T87
Нафига Вам mpp для 200-300 гигов данных?
например, чтобы не делать куб, а строить всю отчётность напрямую из ХД.

В PowerBI? 300Gb?
6 фев 18, 22:56    [21171467]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
vikkiv
Member

Откуда: London
Сообщений: 1689
T87,

а в чём проблема-то? PBI через DirectQuery напрямую в DB, в итоге 300GB в DB, в PBI только то что запрошено пользователем да и ещё и RLS автоматом по текущему логину если подключение верно настроено.
т.к. в основном на чтение - то Azure PDW/EDW/APS конечно во многих сценариях конечно побыстрее будет - но на первых опытных порах и обычная DB пойдёт - а там видно будет надо-ли DWU/параллельности добавлять (или какая там DB на чтение больше заточено в их пакетах предложений VM, хотя список совместимых с DirectQuery не настолько широк) .. можно и кубам через LiveConnection, но там свои овраги..
7 фев 18, 02:20    [21171726]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Полковник.
Member

Откуда:
Сообщений: 1757
300 gb в Power BI не зайдет никак.
Самый оптимальный вариант - ssas tabular model + power bi
7 фев 18, 10:09    [21172107]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1046
AlexanderGikalo
Посоветуйте пожалуйста облачную платформу для организации хранилища

Александр, день добрый. Не подскажете, а почему смотрите именно облачное хранилище? И какое, Azure? Или частное облако?
AlexanderGikalo
Максимально бодрые и динамические. Смотрел на табло и клик, но выбрал power bi.
А чем клик не устроил, можно узнать? Я просто отвечаю за партнерскую сеть. И очень неприятно, когда кто-то неумело про него рассказывает. Типа, моя вина, не научил

С Уважением,
Георгий
7 фев 18, 11:32    [21172497]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Fyodor Zevako
Member

Откуда:
Сообщений: 570
George Nordic
И очень неприятно, когда кто-то неумело про него рассказывает. Типа, моя вина, не научил


А что, клик прям идеальный во всем и если его не выбирают, то это от недостатка знаний, а не от того, что другие продукты могут лучше подходить клиенту?:-))
8 фев 18, 08:04    [21175048]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1046
Fyodor Zevako, нет, конечно. Каждый продукт хорош для решения своего класса задач. В данном случае, думаю, Qlik бы вполне себе подошел, если руководству необходимо быстро получить результат. Однако если уже есть облачное хранилище на Azure, а у компании ELA с бесплатным PBI, то убедить компанию что нужно что-то еще ПОКУПАТЬ - крайне непросто. Особенно если компания не умеет считать общую стоимость проекта. Кстати, именно поэтому Qlik популярен именно у очень прижимистых компаний, которые хорошо умеют считать деньги - это, в первую очередь, ритейл и фарм-индустрия. Ну и банки сейчас тоже деньги начинают считать. Так что, возможно, просто не сумели донести основные преимущества, неправильно выбрали область для проведения пилотного проекта...

Как уже и замечали коллеги, Qlik в первую очередь необходим для быстрого получения аналитических отчетов из разнородных систем. В частности, на Qlik иногда проектируют [A]DWH - чтобы понять, а какие именно отчеты необходимы руководству и какие данные из каких систем необходимо консолидировать и как их обрабатывать при загрузке. Когда отчеты построены, чистятся модели (запускается govenance dashboard, удаляются все неиспользуемые отчеты / данные в отчетах, получается "чистая" схема данных), и по готовым лекалам уже строится [A]DWH. В итоге - получаем только реально используемые данные, а не "кладбище данных", в котором половины данных не хватает, а половина (если не 80%) лежит мертвым грузом.

Так что много применений.... И, судя по спросу, хранение данных в облаках на территории России не так популярно - почти ВСЕ поставляемые лицензии, как on-permise так и на основе "подписки" (в принципе, та же самая лицензия, но ограниченная годом действия), ставятся внутрь периметра компании. Очень редко - в доверенном ЦОДе. Но что бы в облака... да, я понимаю, что этим будущее, но пока это редкость. вот и интересно

С Уважением,
Георгий
8 фев 18, 09:52    [21175303]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5112
Георгий, вы начинаете превращаться в Юрия... :)
8 фев 18, 10:06    [21175370]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 30561
Блог
профдеформация
8 фев 18, 11:13    [21175647]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3496
George Nordic
Кстати, именно поэтому Qlik популярен именно у очень прижимистых компаний, которые хорошо умеют считать деньги - это, в первую очередь, ритейл и фарм-индустрия.

в РФ ? Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.
8 фев 18, 11:14    [21175651]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1046
Дедушка
Георгий, вы начинаете превращаться в Юрия... :)
Покусал Чур меня, чур. Ну, благо, пока я не говорю, что только один продукт чудесный - мне BI вообще в принципе нравится, после ERP-то систем. Как буду только один продукт хвалить - забаньте меня, пожалуйста - значит, обратной дороги нет
Ivan Durak
в РФ? Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.
Ну, нельзя сравнивать Qlik с Когносом и Анапланом - Qlik совсем в другой области. Qlik на предназначен для бюджетирования - для этого есть ряд других замечательных продуктов. Qlik, скорее, дополняет бюджетирование план/фактом, как Дойчебанке и ряде других компаний. А мире фарма и healthcare - очень неплохо идет.

В РФ Фарма в первую очередь решает задачи анализа вторичных продаж. Чем обучать MDM-систему (Хвала MS, что хоть что-то доступное появилось - всего лет 5 назад было или IBM PIM / Oracle по цене крыла от самолета, или Talent MDM, для которого напильник нужен было размером с то же крыло, или самописка), народ на Qlik все присланные файлы сводил. Знаю, что правильнее МДМ. Но делают на коленке - результат тот же, но быстрее. про это тот же Фармстандарт рассказывал на нашем мероприятии.

С Уважением,
Георгий
8 фев 18, 11:45    [21175763]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5112
Ivan Durak
Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.
а исходя из вашего опыта как там с популярностью AWS и Azure?
8 фев 18, 13:01    [21176024]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3055
2 Дедушка:

Георгий, вы начинаете превращаться в Юрия... :)

Георгию это пока не грозит ;) Он пока не может стать независимым от вендоров экспертом. Он вынужден продавать решение, имеющее узкий функционал (в котором нет бюджетирования, нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.). У него нет права предлагать заказчикам лучшие варианты архитектуры на основе дефолтных решений (которые далеко не всегда являются Когносом, хотя иногда и могут оказаться Кликом). Поскольку психологически для него это, вероятно, очень тяжело, предлагаю на ближайшей BI-сходке назначить для него в качестве компенсации молоко за вредность ;)
8 фев 18, 15:52    [21176911]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3496
Дедушка
Ivan Durak
Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.
а исходя из вашего опыта как там с популярностью AWS и Azure?

Растет. Семимильными шагами. И AWS и AZURE. В первую очередь для баз и хранилищ начального и среднего уровня.
В крупном международном фарма гиганте количество таких BI систем может исчисляться сотнями! И они конечно экономят. Саппорт в индию, базы в облако. Технологии стандартные. Конфигурации систем типичные, новые делаются путем ctrl-c, ctrl-v.
8 фев 18, 16:04    [21177002]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1046
Jurii
в котором ... нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.).
Ну, ИИ нет, извините. Остальное - Юр, пятый (шестой?) год прошу - скачай продукт, видео там посмотри и разберись. Все есть. Вот прямо в соседней ветке видео, где все это показано + ассоциативная модель. Ну, ё-мое. Если критикуешь, то хоть убедись, что аргументы верны.
Jurii
предлагаю на ближайшей BI-сходке назначить для него в качестве компенсации молоко за вредность ;)
Я настолько вредный, что мне молоко литрами выдают.

Кстати, а вот насчет сходки - идея хорошая. Могу в Москве организовать.

С Уважением,
Георгий
8 фев 18, 16:28    [21177177]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3055
Георгий,

в котором ... нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.).
Ну, ИИ нет, извините. Остальное - Юр, пятый (шестой?) год прошу - скачай продукт, видео там посмотри и разберись. Все есть. Вот прямо в соседней ветке видео, где все это показано + ассоциативная модель. Ну, ё-мое. Если критикуешь, то хоть убедись, что аргументы верны.


Отсутствие ИИ простить пока можно. Без бюджетирования - сложно жить, надо понять, где пользователи Клика должны делать бюджеты.
По остальным вопросам - я скачивал Клик, и увидел, что интерфейс слабоват с точки зрения гибкости, многомерной модели не видно, ассоциативная модель - это просто автофильтр по денормализованному представлению, в этом нет аналитической ценности. Так что жду еще 10 лет и скачаю Клик еще раз, может сейчас разработчики ринутся развивать функционал и за 10 лет что-то в Клике разработают ;) Либо найдется хотя бы 1 специалист по Клику, который на этом форуме станет приводить аргументы в защиту Клика (например, даст ссылку на видео, и скажет, что на такой-то секунде можно увидеть сложный отчет или анализ данных). Или на BI сходке можно будет обсудить Клик вживую.
Прошу относиться к моим словам не как к критике Клика, а как к искреннему желанию помочь вендору и партнерам Клика понять слабости этого решения и доработать его (либо понять, что о сильных сторонах лидеры мнения, такие как я, не информированы).
8 фев 18, 16:56    [21177330]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
xenix
Guest
Jurii,

автор
лидеры мнения, такие как я

скромненько так.
8 фев 18, 17:01    [21177350]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить