Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Дедушка
мы уже довольно далеко ушли от темы ТСа :)

я не большой спец по Qlik, более знающие коллеги поправят...
не обсуждая вопрос цены, а только технические аспекты.

т.к. Qlik создаёт qvd файлы (каждый файл одна таблица),
эти файлы могут читать Qlik скрипты нескольких приложений,
эти файлы допускают инкрементыльную подгрузку (как это реализовано сейчас не важно),
то по сути мы имеем файловое ХД.

Да, всё так.

Дедушка
- да, реализация стейджа через промежуточные qvd файлы

Можете объяснить чем это плохо? Добавляет пресловутой костыльности?
Дедушка
- да, метаданные нужно вести руками и делать это очень аккуратно

Можете описать как в классических системах метаданные ведутся не руками?
В клике это действительно очень кропотливая работа, легко упустить из виду "мелочи".
Дедушка
- да, ETL скрипты "статичны" (нет переиспользования кода)

Это проблема, иногда большая. Особенно когда пишешь очень громоздкие формулы с сет аналисис для пересчёта "на лету", и эти громоздкие конструкции распиханы в ГУИ по разными местам, и нельзя, условно, "написать и вызывать функцию". Хотя в QS есть MasterItems, с ним надо ещё поиграться.
Если же говорить о "повторном использовании кода" на уровне загрузки, то в клике уместно говорить о "повторном использовании QVD файлов". То есть могу уже почищенную, вылизаную, сведенную дату сложить в QVD-шку и обращаться к ней из разных мест.
Дедушка
- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами

Согласен. Очевидно, как раз из-за упомянутых Вами проблем.
Дедушка
- да, это файловое ХД доступно только Qlik-у и больше никому

Это, видимо, один из главных недостатков.
В принципе, на уровне костылей, можно выгружать в CSV вместо QVD и тянуть из них наружу.
Дедушка
но тем не менее... при желании и достаточном уровне знаний построить достаточно адекватную BI экосистему можно.

Да, и тут вопрос костов очень важен. Если данных немного, то с большой вероятностью имеет смысл.
Проблема только, что когда объёмы растут, можно столкнутся с полной перестройкой ETL/DWH на другие технологии.
13 фев 18, 13:29    [21187665]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Barclay
Barclay, а не могли бы Вы чуть подробней по пунктам описать где конкретно плохо:

1. Стоимость решений/лицензий на клике(очень высоко в сравнении).
Если речь о решениях - какие именно решения на клике дороги (ETL, DWH, морда) и в сравнении с чем?
Если о лицензиях - с какими продуктами сравнивали, скажем, можете сравнить стоимость PowerBI и Qlik?

2. Целостность данных - можете дать пример конкретной проблемы с ассоциативной моделью и описание решения другим инструментарием (каким?) ?

3. "Когда данных очень много, клику всё-таки требуется хранилище." На каких объёмах пришли к выводу что кликовского решения ХД недостаточно?
Какие альтернативы решили проблему и каков порядок костов (лицензии, человекочасы)?

4. "BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу".
Так PowerBI или Lumira?
А ETL, DWH на чём?
Что значит "пошло как по маслу"? Лицензии_дешевле_&_время_разработки_короче_&_с_ целостностью_данных_вообще_нет проблем_&_etc ? Или как-то иначе?

Заранее спасибо.

P.S. Мой интерес не праздный.
Возможно, благодаря Вашим ответам удастся убедить моё начальство протестировать у нас другие продукты.


1. Стоимость решений ~ Среда разработки 64 gb + продуктив 384 gb = в ЦОДе стоИт (дорого стОит). + лицензии (около 40 тыс$/год) точную сумму я не буду писать.

В сравнении с SQL Server Software Assurance + Pro cloud, около 20 тыс $/год

2. Конкретные примеры? Есть множество QVD с непонятной недокументированной логикой от предыдущей команды, и гора инцидентов, при разборе которых выяснялось, что в полях, где должны быть буквы оказались цифры. На этой негативной ноте всё и "порешилось" в сторону PBI, Lumira. Естественно, что не в один день.
А я как-то не горю желанием доказывать руководству, обратное, что клик - он хороший, просто нужно провести трудоемкую ревизию месяцев на 6 с разбором всей логики, расчетов и пр. Тогда как сам я занимаюсь Microsoft'ом, SAP'ом.

3. Около 100 gb ежемесячно

4. Lumira для 5 юзеров контроллинга с отчетами напрямую из CDS view (SAP FI/CO),
PowerBi для всех остальных юзеров(sales) (SQLServer DWH+SSIS+SSAS+PowerBI report server). с целостностью данных нет проблемы, вы правы, этот вопрос решается при загрузке в DWH.


Насчёт цен за лицензии/облака возможно Вы правы.
Судя по Вашему описанию у вас 100-200 юзеров.
Возможно выгодней MSSQL+PBI.
Хотя конечно надо считать конкретно.

Насчёт всего остального вот SpellBuilder хорошо написал:
SpellBuilder
Ну вот Вам и ответ, компетенции, нежелание восстанавливать и погружаться в другое, прокачка своих скилов и обоснование удешевление и все плохо. Наша классика.


То есть очень распространённая ситуация - ругают инструмент, топы верят, вбухивают кучу денег в замену, а копнёшь чуть - дело в исполнителях, или в их отсутствии.
13 фев 18, 15:00    [21188057]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Barclay
Member

Откуда:
Сообщений: 89
Ребята, вы все правы. Проведу аналогию.
Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd)
Красивый, полноприводный "джип". Ну мы поехали в тайгу, и застряли. Кто виноват?
Водитель? Range Rover? Продавец? Менеджер?
Да никто не виноват, каждый делал свою работу, кто-то очень хорошо, кто-то поверхностно в соответствии со своими представлениями о тайге.
Но выруливать и вызывать трактор придется водителю, и проще поругать range Rover, ибо менеджера априори бессмысленно(или нельзя), продавана хрен найдешь и не предъявишь, а ренжик вот он твой, ругай его сколько влезет, и предупреди друга чтобы не попал в такую же ситуацию:)
Как-то так.
13 фев 18, 15:14    [21188122]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Barclay,
Да нет, всё легитимно.
Но (возможно) здесь более уместна немного другая аналогия (без обид):

Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd).
Ну мы взяли специального водилу, спеца по этому ренжику. А он зачем-то ушёл/его ушли и пришёл другой водила, спец по Hummer.
Вроде похоже, но специфика в тайге разная. И вот он на этом ренжике застрял в тайге.
Ну у него есть два варианта - научиться как ренжиком в тайге пользоваться или впарить босса что ренжик надо в помойку, а закупить вместо хаммер, причём заодно по городу тоже на хаммере.
Ну и заодно сообщить на джиповом форуме что, мол, ренжик не айс, а вот купили хамер, и пошло как по маслу.

Дисклеймер: поскольку эта аналогия, как любая аналогия, не описывает ситуацию точно, то правда находится где-то посерёдке между Вашим и нашим мнением.
13 фев 18, 15:56    [21188319]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Barclay
Member

Откуда:
Сообщений: 89
slovnet
Barclay,
Да нет, всё легитимно.
Но (возможно) здесь более уместна немного другая аналогия (без обид):

Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd).
Ну мы взяли специального водилу, спеца по этому ренжику. А он зачем-то ушёл/его ушли и пришёл другой водила, спец по Hummer.
Вроде похоже, но специфика в тайге разная. И вот он на этом ренжике застрял в тайге.
Ну у него есть два варианта - научиться как ренжиком в тайге пользоваться или впарить босса что ренжик надо в помойку, а закупить вместо хаммер, причём заодно по городу тоже на хаммере.
Ну и заодно сообщить на джиповом форуме что, мол, ренжик не айс, а вот купили хамер, и пошло как по маслу.

Дисклеймер: поскольку эта аналогия, как любая аналогия, не описывает ситуацию точно, то правда находится где-то посерёдке между Вашим и нашим мнением.


Соглашусь с вами, правда она где-то посередине. Однако вы должны знать, что мы ощущаем как владельцы клика
RR в качестве примера взят неспроста, наши дашборды выглядят иногда также.

+
Картинка с другого сайта.
13 фев 18, 20:43    [21189134]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Barclay,

Ну мы вообще-то такие же "владельцы клика" как вы, нам тоже достался невзлетевший у внедренцев клик.
Знайте и вы что мы ощущаем:)
Ну, разобрались с кликом и теперь идёт "как по маслу", уже года 3. Написал в кавычках потому что не верю что в какой либо BI системе всё может идти "как по маслу".
14 фев 18, 16:51    [21191649]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2218
slovnet
Barclay,
Да нет, всё легитимно.
Но (возможно) здесь более уместна немного другая аналогия (без обид):

Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd).
Ну мы взяли специального водилу, спеца по этому ренжику. А он зачем-то ушёл/его ушли и пришёл другой водила, спец по Hummer.
Вроде похоже, но специфика в тайге разная. И вот он на этом ренжике застрял в тайге.
Ну у него есть два варианта - научиться как ренжиком в тайге пользоваться или впарить босса что ренжик надо в помойку, а закупить вместо хаммер, причём заодно по городу тоже на хаммере.
Ну и заодно сообщить на джиповом форуме что, мол, ренжик не айс, а вот купили хамер, и пошло как по маслу.

Дисклеймер: поскольку эта аналогия, как любая аналогия, не описывает ситуацию точно, то правда находится где-то посерёдке между Вашим и нашим мнением.

Клик ругают потому, что его хранилище - это свалка QVD. То есть "вещь в себе". По сути аналогия такая. Вы покупаете с приятелями несколько маленьких джипов и мощный субурбан для себя. Едете в тайгу и один из маленьких сузуки застревает в грязи. Вы гордо говорите "давай трос, сдерну" - а оказывается, что таки цеплять некуда, все петли выдираются с корнем при малейшем натяге или вообще отсутствуют.
То есть джип у Вас есть. Мощный, дорогой. Но Вы его продадите и купите обычный дефендер, без претензий, а то и газик или ниву какую-нибудь.
А необходимость выгружать что-то из хранилища помимо красивых дашбордов и графиков клика осознается не сразу. И поэтому воспринимается затем всеми как подстава. А это не так. Просто Вы сами при покупке немного не предусмотрели. Ну таки и нельзя сразу быть мудрым как царь Соломон и все предусмотреть.
14 фев 18, 18:53    [21192049]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1922
Andy_OLAP
что его хранилище - это свалка QVD. То есть "вещь в себе"

Ну у многих в голове и дома свалка. Можно наплодить в DWH витрин и жить с эти, а можно порядок навести. Другое дело в DWH
можно запросы погонять и сразу посмотреть, а чего там налили. А в Qlik это немножко по другому, народ теряется языка начальной школы, это я про стандарт SQL. Опять же если портянки выгружать городить пользователям которые не могут без своих Excel.
Задача 1 ярд проводок, задача отобрать для изучения сторнирующие, которые были для изучения, корреспонденции, документов и т.п, затем еще чем то ограничить. Время 5 сек. Ну в простом qlik, это вообще не задача. Вопрос как сделать в MS?
15 фев 18, 09:42    [21192877]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1922
Да, индекса по признаку сторно конечно нет, признак то несущественный, партицирование обычное помесячное. Проводки за год.
15 фев 18, 09:46    [21192894]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 30402
Блог
SpellBuilder,

из миллиарда проводок обладать нужными признаками будет что-то около миллиона,
а зачем пользователю портянка из миллиона строк?

вероятно, не нужна, а нужен какой-то агрегат - смотрим на кубы или реализуем колоночные индексы в ХД,
проблема решена
15 фев 18, 09:52    [21192911]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3044
Задача 1 ярд проводок, задача отобрать для изучения сторнирующие, которые были для изучения, корреспонденции, документов и т.п, затем еще чем то ограничить. Время 5 сек. Ну в простом qlik, это вообще не задача. Вопрос как сделать в MS?
Да, индекса по признаку сторно конечно нет, признак то несущественный, партицирование обычное помесячное. Проводки за год.


На мой взгляд, Клик - это обычная реляционная СУБД (имеющая интегрированные средства визуализации). При загрузке данныз в Клик тратится время, оно как раз уходит на то, чтобы построить индексы по всем полям. Если в MS SQL Server тоже сделать индексы, то производительность в целом должна быть аналогичной.
15 фев 18, 09:54    [21192923]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1922
Критик
SpellBuilder,

из миллиарда проводок обладать нужными признаками будет что-то около миллиона,
а зачем пользователю портянка из миллиона строк?

вероятно, не нужна, а нужен какой-то агрегат - смотрим на кубы или реализуем колоночные индексы в ХД,
проблема решена

Я выше написал отобрать 5 сек, почесать репу, наложить еще фильтр 5 сек, подумать, еще наложить. Понять что то для себя.
Ага, куб с полной атрибутикой проводок и заголовков документов их породивших, ну ну.
15 фев 18, 10:47    [21193125]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1922
Jurii
Задача 1 ярд проводок, задача отобрать для изучения сторнирующие, которые были для изучения, корреспонденции, документов и т.п, затем еще чем то ограничить. Время 5 сек. Ну в простом qlik, это вообще не задача. Вопрос как сделать в MS?
Да, индекса по признаку сторно конечно нет, признак то несущественный, партицирование обычное помесячное. Проводки за год.


На мой взгляд, Клик - это обычная реляционная СУБД (имеющая интегрированные средства визуализации). При загрузке данныз в Клик тратится время, оно как раз уходит на то, чтобы построить индексы по всем полям. Если в MS SQL Server тоже сделать индексы, то производительность в целом должна быть аналогичной.

Ага давайте, постройте индексы по всем полям в табличке проводок с сотней миллионов и документов раза в 3 меньше проводок и по обновляйте (связанные справочник контрагентов и счетов, пока не смотрим).
15 фев 18, 10:53    [21193151]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3044
Ага давайте, постройте индексы по всем полям в табличке проводок с сотней миллионов и документов раза в 3 меньше проводок и по обновляйте (связанные справочник контрагентов и счетов, пока не смотрим).

Похоже мы на пути к тому, чтобы найти одну сильную сторону Клика, ради которой аналитик может скачать и установить себе бесплатную версию Клика ;) Вопрос только в том, насколько регулярно требуется так работать с проводками, поможет ли клик найти что-то ценное. Компаний, в которых сотни миллионов и более записей, требующих подобного исследования - не так много, и обычно железо у них соответствующее, позволяет в MS SQL Server без индексов достаточно быстро отбирать данные из одной таблицы (если подключать справочники, то запросы станут посложнее, и нужно будет грамотно играться с OUTER JOINs). Клик конечно мощнее, чем автофильтр Excel и удобнее, чем голый Management Studio. Но как альтернативу Клику для таких Ad-hoc задач я бы рассмотрел дефолтный построитель физических OLAP-кубов, который позволяет автоматически сгенерить структуру куба исходя из автоматического анализа типов данных и выявления иерархий, в кубе посчитаются агрегаты во всех разрезах, в измерениях будут наглядно видны все найденные во всех полях непустые значения, и куб будет летать на слабом компьютере. А вот в Клик я как-то загрузил 150 миллионов записей, и у меня эти данные е летали, что логично, поскольку Клик не считает агрегаты при загрузке данных и требует серьезное железо.
15 фев 18, 11:13    [21193224]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2218
SpellBuilder
Критик
SpellBuilder,

из миллиарда проводок обладать нужными признаками будет что-то около миллиона,
а зачем пользователю портянка из миллиона строк?

вероятно, не нужна, а нужен какой-то агрегат - смотрим на кубы или реализуем колоночные индексы в ХД,
проблема решена

Я выше написал отобрать 5 сек, почесать репу, наложить еще фильтр 5 сек, подумать, еще наложить. Понять что то для себя.
Ага, куб с полной атрибутикой проводок и заголовков документов их породивших, ну ну.

Нет, коллега, не так. Начать поиски в миллиарде проводок. Найти 15 миллионов проводок, которые нужно анализировать дальше. Попробовать сверить с исходными учетными системами (ERP, CRM). Понять, что их разработчики/админы владеют только SQL и помогут выдергивать запросами части из этих 15 миллионов строк. Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее. Обалдеть от мысли, что хранилище Qlik - это вещь в себе и все равно нужно для него отдельное хранилище DWH. Обалдеть от мысли, что начальство в полной уверенности, что это и DWH, и Reporting, и красивая выгрузка в CSV для отправки внешних контрагентам для дальнейшей сверки между фирмами. Обалдеть от мысли, сколько на самом деле трудов будет стоить любая переделка (красивая реализация по ТЗ в клике - да, шаг вправо, шаг влево после этого - попытка к бегству и немедленное наказание).
Вот как-то так...
15 фев 18, 11:25    [21193263]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1858
Дедушка
- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами
- да, это файловое ХД доступно только Qlik-у и больше никому
.

если я правильно понял, это не баг, а фича )
т.е. за счет этих недостатков, пользователю дается возможность быстро построить прототип BI системы, выдать отчет руководству/понять какие отчеты нужны
15 фев 18, 11:26    [21193264]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2218
StarikNavy
Дедушка
- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами
- да, это файловое ХД доступно только Qlik-у и больше никому
.

если я правильно понял, это не баг, а фича )
т.е. за счет этих недостатков, пользователю дается возможность быстро построить прототип BI системы, выдать отчет руководству/понять какие отчеты нужны

За счет этих недостатков таки и реализуется продажа лицензий. Когда пользователю руки выламывают - это вряд ли можно трактовать как его возможность что-либо сделать.
15 фев 18, 11:41    [21193310]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3044
если я правильно понял, это не баг, а фича )
т.е. за счет этих недостатков, пользователю дается возможность быстро построить прототип BI системы, выдать отчет руководству/понять какие отчеты нужны
За счет этих недостатков таки и реализуется продажа лицензий. Когда пользователю руки выламывают - это вряд ли можно трактовать как его возможность что-либо сделать


Да, сейчас уже можно быстро, за 1-2 дня, строить не прототип, а вполне полноценное ХД, и на его основе - BI. Вместо Клика для этого проще всего использовать Искусственный интеллект (который автоматически сформирует ХД в MS SQL Server) + дефолтный BI.
15 фев 18, 11:50    [21193331]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
SpellBuilder
Member

Откуда: р.Москва, д.МО
Сообщений: 1922
Andy_OLAP
SpellBuilder
пропущено...

Я выше написал отобрать 5 сек, почесать репу, наложить еще фильтр 5 сек, подумать, еще наложить. Понять что то для себя.
Ага, куб с полной атрибутикой проводок и заголовков документов их породивших, ну ну.

Нет, коллега, не так. Начать поиски в миллиарде проводок. Найти 15 миллионов проводок, которые нужно анализировать дальше. Попробовать сверить с исходными учетными системами (ERP, CRM). Понять, что их разработчики/админы владеют только SQL и помогут выдергивать запросами части из этих 15 миллионов строк. Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее. Обалдеть от мысли, что хранилище Qlik - это вещь в себе и все равно нужно для него отдельное хранилище DWH. Обалдеть от мысли, что начальство в полной уверенности, что это и DWH, и Reporting, и красивая выгрузка в CSV для отправки внешних контрагентам для дальнейшей сверки между фирмами. Обалдеть от мысли, сколько на самом деле трудов будет стоить любая переделка (красивая реализация по ТЗ в клике - да, шаг вправо, шаг влево после этого - попытка к бегству и немедленное наказание).
Вот как-то так...

Не понял зачем QVD гнать в хранилище. Определил что не так, звонищь или лезешь в учетную систему вбиваешь в фильтр атрибуты, находишь нужное правишь или отправляешь список через Excel, сохраняешь отбор на портале, просишь разобраться и т.п.
Переделка трудов, каких вообще не вопрос.
Я не люблю Qlik именно за простоту, из-за этого по этому продукту низкие з.п.. Поэтому и не занимаюсь им, а так иногда.
P/s/ Основная цель qvd ускорить загрузку в модель сотни тысяч строк в секунду, это упрощает update
15 фев 18, 12:24    [21193459]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2218
SpellBuilder
Andy_OLAP
пропущено...

Нет, коллега, не так. Начать поиски в миллиарде проводок. Найти 15 миллионов проводок, которые нужно анализировать дальше. Попробовать сверить с исходными учетными системами (ERP, CRM). Понять, что их разработчики/админы владеют только SQL и помогут выдергивать запросами части из этих 15 миллионов строк. Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее. Обалдеть от мысли, что хранилище Qlik - это вещь в себе и все равно нужно для него отдельное хранилище DWH. Обалдеть от мысли, что начальство в полной уверенности, что это и DWH, и Reporting, и красивая выгрузка в CSV для отправки внешних контрагентам для дальнейшей сверки между фирмами. Обалдеть от мысли, сколько на самом деле трудов будет стоить любая переделка (красивая реализация по ТЗ в клике - да, шаг вправо, шаг влево после этого - попытка к бегству и немедленное наказание).
Вот как-то так...

Не понял зачем QVD гнать в хранилище. Определил что не так, звонищь или лезешь в учетную систему вбиваешь в фильтр атрибуты, находишь нужное правишь или отправляешь список через Excel, сохраняешь отбор на портале, просишь разобраться и т.п.
Переделка трудов, каких вообще не вопрос.
Я не люблю Qlik именно за простоту, из-за этого по этому продукту низкие з.п.. Поэтому и не занимаюсь им, а так иногда.
P/s/ Основная цель qvd ускорить загрузку в модель сотни тысяч строк в секунду, это упрощает update

"Определил что не так" - что-то не так с одной-двумя-тремя из 15 миллионов строк. Не миллиард строк, уже проще, но все равно - лучше искать иголку в стогу сена с помощью сильного магнита.
"находишь нужное правишь" - Вы на секунду поставьте себя на место разработчика исходной системы. Я уже не говорю про "правишь", я про "находишь". У Вас 15 миллионов строк, у него 20 тысяч возможных вариантов для поиска. Ну и?
"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :)
15 фев 18, 12:31    [21193491]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Andy_OLAP
Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее.

Не понял, зачем это?
При грамотном построении вся Raw Data есть уже в Qlik, делайте зум куда надо и сверяйте глазами.
Или я что-то неверно понял?
15 фев 18, 12:44    [21193544]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Ну если очень хочется поизвращаться - выгружайте из клика в CSV и балуйтесь.
15 фев 18, 12:46    [21193555]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2218
slovnet
Andy_OLAP
Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее.

Не понял, зачем это?
При грамотном построении вся Raw Data есть уже в Qlik, делайте зум куда надо и сверяйте глазами.
Или я что-то неверно понял?

"При грамотном построении вся" - согласен, но таки есть нюанс. На момент построения - да, была вся. А теперь нужно допилить и перепилить и уже не вся. И всё. Приплыли...
15 фев 18, 12:54    [21193589]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Andy_OLAP,

Куда приплыли?
Что нужно допилить и перепилить?
Поля/таблицы добавить? Что здесь сложного?
Добавил новую таблицу в выгрузку, свёл её в снежинку.
Дольше чем в куб добавлять?

P.S. Если б мои юзеры для сверения данных должны были бы кого-то заставлять к учетной системе SQL-костыли прикручивать, меня бы давно выгнали.
У меня юзер пальцем показывает - вот здесь в этом доке сумма такая, а в учётной - такая.
15 фев 18, 13:05    [21193626]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3044
2 slovnet:

Добавил новую таблицу в выгрузку, свёл её в снежинку.

Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет.
В традиционном ХД сначала проводки из разных баз попадают в одну таблицу фактов, потом присоединяются трансформационные правила, которые либо отсутствуют для такой-то проводки, либо превращают одну проводку в одну или несколько управленческих записей, без потери связи с этой проводкой. Гладко этот процесс никогда не происходит, нужно выверять трансформированные данные.

Вопрос в том, можно ли в Клике играться с OUTER JOINs, чтобы вывести трансформационные правила, для которых не нашлись проводки, а также вывести проводки, для которых не нашлись трансформационные правила? Будем считать, что каждое правило задается для комбинации диапазона дат, организации, счета Дт, Счета Кт и набора кодов или значений субконто (номенклатура, контрагент, статья затрат, и т.п.). И поддерживает ли Клик связи между таблицами, когда не только задано равенство по совпадающим названиям полей, а когда названия полей в связях не совпадают, когда добавляются условия что дата между ДатыС и ДатыПо, можно ли дополнительные условия задавать что такое-то поле не равно другому полю или не равно набору констант, и т.п.

P.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;)
15 фев 18, 13:33    [21193735]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
Все форумы / OLAP и DWH Ответить