Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 Как просмотреть исходные данные в PowerBI?  [new]
хорошо я согласен
Member

Откуда:
Сообщений: 316
Я в том смысле, что когда данные в SQLServere - там понятно, открываю Management Studio и с помощью SQL запросов узнаю, что там где записано. Может, где-то нолик в данных лишний. Или какую-то строчку удалить надо, добавить или узнать конкретное значение в конкретной строке.
В общем, с данными удобно работать в SQLServer, но как их просматривать в PowerBI?

Второе: с помощью SSIS я в DWH могу пополнять данные из разных источников. Могу немного неправильные задать условия и у меня вместо замены старых значений обновлёнными будут создаваться новые строки. Это могу вычислить и лишние строки потереть, а ошибку в SSIS поправить. Как это происходит в PowerBI? Не совсем понимаю...
5 окт 18, 19:00    [21696732]     Ответить | Цитировать Сообщить модератору
 Re: Как просмотреть исходные данные в PowerBI?  [new]
vikkiv
Member

Откуда: London
Сообщений: 1704
хорошо я согласен,

в Power BI есть разные обьекты: Таблицы, Списки, Наборы, Переменные и т.д.
все видимы и можно просто зайти в режим просмотра либо если они слишком большие/тяжелые - написать M Code запрос/трансформацию (фильтр) к обьекту чтобы ограничить выборку
с левой стороны есть меню (Report / Data / RelationShips)
при заходе в Data - с правой стороны можно выбрать обьект/таблицу - как раз там и будут исходные данные

можно и сами запросы просмотреть - (Edit Queries) - откроется Power Query
Там Таблицы будут списком с левой стороны, а Advanced Editor выдаст M Code для обьекта

По данным - это уже как сам организуешь, встроенного средства нет - там только таблицы в модель данных, расчёты поверху и всё, если хочешь - например добавь поле для версии данных с датой загрузки и дополнительное измерение под это дело с параметром чтобы автоматически выбирал последнюю
но Power BI явно не для этого, и такие тяжелые (держать всё внутри) решения выйдут боком
это к тому что контроль версии ETL данных лучше осуществлять вне Power BI.
5 окт 18, 19:30    [21696760]     Ответить | Цитировать Сообщить модератору
 Re: Как просмотреть исходные данные в PowerBI?  [new]
хорошо я согласен
Member

Откуда:
Сообщений: 316
Спасибо, это очень интформативно и развёрнуто.
vikkiv
но Power BI явно не для этого, и такие тяжелые (держать всё внутри) решения выйдут боком
это к тому что контроль версии ETL данных лучше осуществлять вне Power BI.

Как тогда, получается, это следует делать?
С помощью PowerBI нужно делать аналитику, напр., за несколько последних лет - это получается, что нужно всё выгрузить в powerBI и выглядит это так, будто SQLServer вообще не нужен.
Ну, т.е. 50 пользователей подключатся к PowerBI - там не поймёшь, что каждому нужно. У всех разные права доступа (на уровне строк), и разные цели. Как определить, что в PowerBI грузить нужно, а что нет?
Плюс, какую-то устаревшую информацию нужно из PowerBI как-то удалять.

Я спрашиваю, потому что не нашёл нормального обзорного описания PowerBI, его возможностях и технических ограничениях, где он полезен, а как лучше его не использовать и примеры архитектуры сетей с использованием PowerBI. Везде ограничиваются только: "вау, графики" или "а сейчас мы будем загружать данные".
5 окт 18, 20:01    [21696780]     Ответить | Цитировать Сообщить модератору
 Re: Как просмотреть исходные данные в PowerBI?  [new]
vikkiv
Member

Откуда: London
Сообщений: 1704
хорошо я согласен,

Выгружать не обязательно, есть Кубы, LiveConnection / DirectQuery к серверным системам поставки и обработки данных.

Удаление тоже как таковое - абстракция, т.к. обновляется весь набор данных (если выбрана Import модель, при Live тоже берётся то что на данный момент есть на сервере/источнике).

Вкратце и общих чертах - это примерно как Excel (с его-же Power View / Power Query / Pivot-Table / Таблицами)
(своеобразный Self-Service BI где тоже можно строить модели данных из таблиц и подключаться к разным источникам данных)
но меньше под расчёты
и больше предназначен для отчётности и визуализаций,
плюс размещение в Web и модель безопасности.

В том-же Excel (или SSRS) - под разные отчёты в него грузятся разные данные, так-же с PBI - разные файлы Power BI (можно группировать похожие классы отчётов в одном файле с однотипным источником/моделью) и естественно модели данных под разные требования (департаментов/пользователей/безопасности/ типа отчёта).

Так что это никак не замена серьёзных баз данных и средств ETL, хотя и содержит такую функциональность (ограниченно).

В остальном могу посоветовать всё-же вернутся к поискам технического описания Power BI, его преимуществ/ограничений, сценариев применения, т.к. на самом деле в сети материалов вполне хватает.

У тебя около 50% активности в ПТ, так что судя по формату, типу и качеству вопросов (в т.ч. приложенных усилий для ознакомления с поверхностной общедоступной информацией) всё больше в некоторой степени начинает напоминать тролинг.
5 окт 18, 20:35    [21696793]     Ответить | Цитировать Сообщить модератору
 Re: Как просмотреть исходные данные в PowerBI?  [new]
хорошо я согласен
Member

Откуда:
Сообщений: 316
а по-моему, в пт у всех активность была большая)

Обо мне:
У кулинарная, так сказать, компания и находимся в 8 городах европейской части России.
Создал большой проект. Из 1С и пары других систем данные через SSIS идут в DWH, оттуда в OLAP SSAS
В качестве клиента OLAP - excel и мной написанная прога на C#. Реализовано построчное разделение прав в DWH и SSAS.
Всё работало отлично. Но без спецэффектов.
Сам я после этого перешёл к выполнению задач на C++ и мелкие программки вспомогательные на C#+WPF (wpf без надобности, просто попробовать решил).

Людям захотелось графики.
Поступил запрос - что за PowerBI и нужен ли он нам.
Я стал изучать этот вопрос. Хотел найти внятную презентацию (статью или видео - что угодно), описывающую архитектуру PowerBI в контексте промышленного внедрения. Какое место Microsoft отводит ему, какое оставляет SSEngine и SSAS. Какие варианты взаимодействия - не просто на уровне "PowerBI может высосать данные откуда угодно", а именно в контексте разумного взаимодействия.

И уже имея эти данные решить, искать нам спеца или нет. Какую квалификацию с него спрашивать.

Все презентации PowerBI сводятся к намозолившим мне глаз "столбикам на карте мира" и "вааау, ты посмотри какие диаграммки", а ещё "PowerBI очень мощная вещь и источниками данных может служить что угодно".
Если бы я планировал изучать PowerBI - то да, я бы пошёл на курсы, изучал бы его со всех сторон, протестировал бы объёмы данных и уже на собственном опыте понял бы, что годится, а что нет.


хорошо я согласен
Спасибо, это очень интформативно и развёрнуто.

я на самом деле был в курсе 80% того, что было сказано в вашем первом комментарии. Напр., в PowerQuery прощупал язык M этот, пока пробовал. Просто "пионерка должна быть вежливой" - я поблагодарил за уделённое время и описанную информацию.

Мне не нужна практическая информация - именно не то, что можно прощупать (синтаксис M и пр.), а описание архитектурны и корректного использования. Поэтому и стал задавать вопросы. Я не тролль :)

Вот, пока ищу такую информацию.
6 окт 18, 01:12    [21696884]     Ответить | Цитировать Сообщить модератору
 Re: Как просмотреть исходные данные в PowerBI?  [new]
хорошо я согласен
Member

Откуда:
Сообщений: 316
а исходные данные такие:
компания, 500 пользователей аналитики, у каждого индивидуальные права (смотрят только своих подчинённых, либо свою отрасль, либо только себя, либо на список офисов, и т.д.)
  • В Москве есть источники данных (1с и Journal (наша самописная прога, туда все сотрудники свои успехи вносят)), скидывают в текстовый файлик в расшаренную папочку.
  • SSIS собирает, отправляет в DWH и каждую ночь собирается куб в SSAS.
  • Пользователи коннектятся к SSAS из C# программки и любуются данными.

    как впилить DWH?
  • Перенести DWH в SQL Database (т.е. в облаке) - или отказаться от SQL Servera вообще, т.к. PowerBI всё равно хранит данные? А надёжно хранит, не потеряются? А бекапы? А разделение прав (да, спасибо за первый коммент, на это отвечено)
  • Через Data Gateway наполнять базу, напр., SQL Database, а оттуда в PowerBI - сразу всю кучу без остатка?
  • Где должна храниться какая-нибудь клиентская (админская т.е.) прога, в которой можно будет указывать разделение прав? Я её напишу на C#, но что это, где должна располагаться, - не понятно. Аналогичная сейчас работает в нынешнем клиенте на C# - там админы могут распределять права доступа индивидуально для каждого пользователя. Группы не годятся.

    Короче, вот примерно такие архитектурные недопонимания у меня есть.
  • 6 окт 18, 01:24    [21696892]     Ответить | Цитировать Сообщить модератору
     Re: Как просмотреть исходные данные в PowerBI?  [new]
    iShvedsky
    Member

    Откуда:
    Сообщений: 30
    хорошо я согласен,

    У Power BI есть такие ограничения
    - миллион строк на всю модель при работе с DirectQuery
    - модель данных не может быть больше 1Г
    - при работе с DirectQuery пользователь должен сам обновить модель

    (см. https://docs.microsoft.com/ru-ru/power-bi/power-bi-reports-performance)

    Прикиньте, влезает ли ваша аналитика в эти ограничения. Если да, то Power BI ваша тема. Если нет, то ищите другое решение для дашбордов. SSRS или ещё что-то. Я пару лет назад использовал для этой цели Datazen, но сейчас его купил MS и этот продукт распилили на кусочки, распихав их по SSRS

    Вот тут можно почитать и скачать домайкрософтовский Datazen - https://www.osp.ru/winitpro/2015/08/13046596/

    К сообщению приложен файл. Размер - 63Kb
    8 окт 18, 11:37    [21697847]     Ответить | Цитировать Сообщить модератору
     Re: Как просмотреть исходные данные в PowerBI?  [new]
    хорошо я согласен
    Member

    Откуда:
    Сообщений: 316
    вот этот коммент очень здорово пролил свет на происходящее.
    Спасибо!! Прямо вот то, что нужно. Теперь всё встало на свои места.
    8 окт 18, 12:10    [21697888]     Ответить | Цитировать Сообщить модератору
     Re: Как просмотреть исходные данные в PowerBI?  [new]
    хорошо я согласен
    Member

    Откуда:
    Сообщений: 316
    iShvedsky
    (см. https://docs.microsoft.com/ru-ru/power-bi/power-bi-reports-performance )

    очень забавные вещи пишут в приведённой статье.
    Распространенная ошибка заключается в том, что в представлении по умолчанию не используется фильтрация, то есть отображается более 100 млн строк. Данные для этих строк должны загружаться в память и распаковываться при каждом обновлении. Это приводит к чрезмерной загрузке памяти. Чтобы решить эту проблему, сократите максимальное количество элементов, которые отображаются в таблице, с помощью фильтра "Ведущие N"

    Каждый день пользователи вводят данные в базу о своих покупках и продажах.
    А аналитик теперь захотел посмотреть график по годам за весь период.
    Не понимаю, о каких "последних 10000 элементах" (как написано в статье) может идти речь, если речь идёт о визуализации. Т.е. о графиках.
    График на последних 10 000 записей о доходах и график на всех 200 000 000 записях о доходах на выбранном периоде с 2010 по 2018 года - это два совершенно разных графика.

    Да пусть даже с 2014 по 2018 года. Всё равно не понятно, как "ведущие N" можно вообще применять.
    8 окт 18, 12:55    [21697953]     Ответить | Цитировать Сообщить модератору
     Re: Как просмотреть исходные данные в PowerBI?  [new]
    StarikNavy
    Member

    Откуда: Москва
    Сообщений: 1999
    хорошо я согласен
    С помощью PowerBI нужно делать аналитику, напр., за несколько последних лет - это получается, что нужно всё выгрузить в powerBI и выглядит это так, будто SQLServer вообще не нужен.

    ну если 50 пользователей будут удовлетворены, то да, не нужен, но на практике обычно начинаются разные проблемы ...

    попробуйте прикрутить опытно PowerBI поверх ваших кубов и ДВХ. вполне возможно что пару "красивых" графиков нужно двум пользователям, а остальные продолжать мучать эксельки
    8 окт 18, 13:30    [21698022]     Ответить | Цитировать Сообщить модератору
     Re: Как просмотреть исходные данные в PowerBI?  [new]
    StarikNavy
    Member

    Откуда: Москва
    Сообщений: 1999
    хорошо я согласен
    а по-моему, в пт у всех активность была большая)
    .

    ага, однажды, целый один раз, я туда зашел
    8 окт 18, 13:36    [21698035]     Ответить | Цитировать Сообщить модератору
     Re: Как просмотреть исходные данные в PowerBI?  [new]
    iShvedsky
    Member

    Откуда:
    Сообщений: 30
    хорошо я согласен,

    Да сам удивлён странностями PowerBI. Тот ещё фрукт.

    Обходить ограничение в 1Г на модель - это значит использовать DirectQuery (см. https://docs.microsoft.com/ru-ru/power-bi/desktop-use-directquery , https://docs.microsoft.com/ru-ru/power-bi/desktop-directquery-about )

    Обходить ограничение на 1М строк на модель с DirectQuery - использовать шлюз (см. https://docs.microsoft.com/ru-ru/power-bi/service-gateway-onprem-indepth , https://docs.microsoft.com/ru-ru/power-bi/service-gateway-onprem-indepth ) который заберёт данные из нужного источника под учёткой текущего пользователя. RLS реализовывается на уровне источника данных и соотв. возвращаемое количество строк получится меньше.

    DirectQuery, кстати, накладывает ограничения - не весь DAX можно использовать.

    Облака я вообще не рассматриваю. Не видел пока бизнеса, кот. готов хранить свои (пусть и агрегированные) данные в Azure, например.

    Лично для себя решил не перетаскивать у себя управленческие дашборды с Datazen на Power BI.

    На мой взгляд, PowerBI нужен, чтобы надо победить Excel Hell (а он всё ещё не побеждён!). Ну и заодно поднять ЧСВ пользователя - он же теперь BI-аналитик. Ну это уже лирика.
    8 окт 18, 13:59    [21698069]     Ответить | Цитировать Сообщить модератору
     Re: Как просмотреть исходные данные в PowerBI?  [new]
    StarikNavy
    Member

    Откуда: Москва
    Сообщений: 1999
    хорошо я согласен
    Всё равно не понятно, как "ведущие N" можно вообще применять.


    -когда я держу айфон 4мя пальцами, сеть не ловится
    - не держите его так!
    (С) стив джобс
    8 окт 18, 14:00    [21698070]     Ответить | Цитировать Сообщить модератору
    Все форумы / OLAP и DWH Ответить