Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4]      все
 Re: Правильное хранилище данных для power bi  [new]
Полковник.
Member

Откуда:
Сообщений: 1696
Jurii,

Много слов. Российские суровые бухи все это прекрасно делают в excel.
15 фев 18, 14:02    [21193862]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
2 Полковник:

Много слов. Российские суровые бухи все это прекрасно делают в excel.

Много слов, поскольку я все это не раз автоматизировал, а потом еще обучал этому Искусственный интеллект. В Челябинске вероятно это не так актуально, но в других регионах бухгалтера менее суровы, и Excel притормаживает на больших объемах данных.
15 фев 18, 14:26    [21193980]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1029
Jurii
Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet.
Юрий, простите, Вас ваша мама вежливости не учила? Извольте не превращать сообщество в балаган.

Я тут. Просто сделали замечание что меня слишком много, я принял мнение коллег к сведению.

Сходку - готов организовать. Предлагаю когда чуть потеплеет. Со slovnet с удовольствием познакомлюсь. Родственников, которые занимаются BI, к сожалению, нет. Привычки писать под несколькими аккаунтами не имею.

Дедушка
я не большой спец по Qlik, более знающие коллеги поправят...
Жаль. Толковые люди нужны как воздух. Хотя, толковы люди и так нужны, вне зависимости от системы.
Дедушка
т.к. Qlik создаёт qvd файлы (каждый файл одна таблица)
не совсем. один QVD файл может содержать данные из нескольких таблиц. Данный файл может быть источником данных как для одного приложения, так и для нескольких, также можно его преобразовывать в другие qvd-файлы. Да по сути мы имеем файловое ХД (там лежит дамп памяти, скорость загрузки с диска в память очень высокая)

Кэптен
Любой мало-мальский спец в логистике знает, что есть цепочки поставок, а не цепи ;)
Не позорьтесь, если не знаете. Это не ювелирный магазин. Специалисты как раз говорят "цепи поставок".

Roman Kolchin
George Nordic,
Может расскажешь о том, как организована работа бизнеса и ИТ вокруг системы на Qlik'е в двух кейсах?
1. Qlik без хранилища -- в каких случаях и для какого масштаба оно нормально работает;
2. Qlik без хранилища не обойдется -- в каком ландшафте и на каком масштабе без полноценного бэкенда на реляционке не жить.
Ром, привет. Хороший вопрос. Действительно, 2 разных подхода есть. Я лично сторонник DWH, так как Qlik - это ADWH, DWH в первую очередь решает другие задачи, в первую очередь связанные с хранением исторических данных. Qlik - это выгрузка, слепок... использовать его для хранения - неразумно, хотя я и видел пример (чеки хранили).

Если в компании есть учетная система, в которой хранятся транзакции и мастер-данные предприятия (например Dynamics), то в DWH зачастую нет необходимости - данную функцию выполняет сама учетная система. Или учетная система + отдельно транзакционная (POS, EAM, WMS) - по сути, имеем 2 хранилища, Qlik может брать данные сразу из множества систем. Так что для средних предприятий Qlik можно натравить и напрямую. Даже в банках подобные примеры видел - Запсибкомбанк в одном приложении Qlik загрузили и связали всех клиентов, клиентские продукты, счета, карты, операции по картам, и транзакции + несколько сот миллионов остатков. При этом считают, что отсутствие необходимости DWH - это плюс. А это 61й банк в рейтинге, на секундочку.
Но, как я и говорил, я сторонник связки DWH+ADWH: в DWH необходимо хранить минимум необходимой информации, где нужна историчность, которая будет использоваться + ADWH для решения аналитических задач. Как-то так.

Да, коллеги, чтобы хорошо проследить метаданные в Qlik есть хорошее решение от Nodegraph. Больше информации на комьюнити.

С Уважением,
Георгий.
15 фев 18, 15:12    [21194167]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
Георгий,

Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet.
Юрий, простите, Вас ваша мама вежливости не учила? Извольте не превращать сообщество в балаган.

Я тут. Просто сделали замечание что меня слишком много, я принял мнение коллег к сведению.

Я думаю, что немного английского юмора не повредит нашей тусовке ;) Если серьезно, то я стараюсь у нас на форуме создать более интересный и разнообразный контент для обучения Искусственного интеллекта, который, надеюсь, через год сможет делать интересные селекты к нашему форуму ;)

Сходку - готов организовать. Предлагаю когда чуть потеплеет. Со slovnet с удовольствием познакомлюсь.

Вам нужно его активно хантить, он незаменимый сотрудник для Вашей коммерческой службы ;)

Родственников, которые занимаются BI, к сожалению, нет. Привычки писать под несколькими аккаунтами не имею.

Значит ИИ не выявит Вас как автора постов из под разных ников. А по поводу родственников - предлагаю на BI сходке обсудить этот вопрос, если конечно г-н Andy_OLAP посетит нашу сходку ;)
15 фев 18, 15:36    [21194263]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1827
Andy_OLAP
"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :)


недельку ищешь владельца/ответственного за эти данные, потом месяц согласовываешь изменения, потом плюешь и тихо правишь у себя в двх ))))
15 фев 18, 17:35    [21194732]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Jurii
2 slovnet:

Добавил новую таблицу в выгрузку, свёл её в снежинку.

Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет.
В традиционном ХД сначала проводки из разных баз попадают в одну таблицу фактов, потом присоединяются трансформационные правила, которые либо отсутствуют для такой-то проводки, либо превращают одну проводку в одну или несколько управленческих записей, без потери связи с этой проводкой. Гладко этот процесс никогда не происходит, нужно выверять трансформированные данные.

Вопрос в том, можно ли в Клике играться с OUTER JOINs, чтобы вывести трансформационные правила, для которых не нашлись проводки, а также вывести проводки, для которых не нашлись трансформационные правила? Будем считать, что каждое правило задается для комбинации диапазона дат, организации, счета Дт, Счета Кт и набора кодов или значений субконто (номенклатура, контрагент, статья затрат, и т.п.). И поддерживает ли Клик связи между таблицами, когда не только задано равенство по совпадающим названиям полей, а когда названия полей в связях не совпадают, когда добавляются условия что дата между ДатыС и ДатыПо, можно ли дополнительные условия задавать что такое-то поле не равно другому полю или не равно набору констант, и т.п.

Поскольку в Qlik всё считается на лету, то (в идеале) не надо заранее задавать никакие правила.
Выборка юзера по любой комбинации измерений автоматически отфильтрует все записи.
Если надо дать возможность отфильтровать по отсутствию данных в каком-либо измерении (или группе измерений), можно при загрузке вписать в соответствующие поля значение вроде "NotDefined" и дать юзеру фильтровать по этому значению.
Разумеется, можно ввести флаги которые отмечают пуста ли некая группа измерений и дать юзеру фильтровать по ним и смотреть в каких записях поднят данный флаг.

Связь по одноимённым полям - техническая деталь, ничему не мешает, если надо, поля переименовывaются при загрузке.
Условие по диапозону дат - это условие для фильтра, задаётся на лету, при чём здесь связи между таблицами?
Jurii
P.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;)


P.S. Если Ваш "интеллект" - такой же плоский параноик и конспиролог как его создатель, не стоит его допускать в продакшн - свяжет всех контрагентов в одного потому что они "вместе не пишут" или "похожи на родственников", определит клиентов в поставщики потому что "разговаривают как продавцы" завалит бизнес и будет оправдываться английским юмором (при полном его отсутствии и космическом занудстве).
15 фев 18, 17:41    [21194747]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
StarikNavy
Andy_OLAP
"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :)


недельку ищешь владельца/ответственного за эти данные, потом месяц согласовываешь изменения, потом плюешь и тихо правишь у себя в двх ))))


А это только в клике так при большом количестве данных и их источников?
15 фев 18, 17:46    [21194760]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 33047
Блог
StarikNavy,

у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH )
15 фев 18, 17:49    [21194768]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
slovnet
Member

Откуда:
Сообщений: 133
Критик
StarikNavy,

у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH )


))))))))))))))
15 фев 18, 18:00    [21194802]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Полковник.
Member

Откуда:
Сообщений: 1696
Критик
StarikNavy,

у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH )


Когда в источнике они всё-таки поменяют, это же учётная система, то твой костыль от'едет (((
Сказка про русских программистов трёх поросят - они так быстро строят свой домик из г-вна и палок, что серый волк - заказчик не успевает его разрушать.
16 фев 18, 08:07    [21195572]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
2 slovnet:

Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет.
Поскольку в Qlik всё считается на лету, то (в идеале) не надо заранее задавать никакие правила.
Выборка юзера по любой комбинации измерений автоматически отфильтрует все записи.


Так, есть у нас 10 тысяч правил трансформации факта из БУ в УУ. Берем мы Клик, и каждое правило по очереди настраиваем в фильтрах, смотрим на экране какие проводки под него подпадают. Потом берем калькулятор, умножаем сумму каждой проводки на коэффициент (удельный вес) управленческого ЦФО, на который надо разнести часть этой бухгалтерской проводки, на бумаге пишем список управленческих проводок. Потом этот миллион новых управленческих проводок за месяц экономисты с бумаги переносят в Excel ;) Инновационный подход, расскажу о нем в своем докладе на ближайшей конференции по Искусственному интеллекту ;)

Если надо дать возможность отфильтровать по отсутствию данных в каком-либо измерении (или группе измерений), можно при загрузке вписать в соответствующие поля значение вроде "NotDefined" и дать юзеру фильтровать по этому значению.
Разумеется, можно ввести флаги которые отмечают пуста ли некая группа измерений и дать юзеру фильтровать по ним и смотреть в каких записях поднят данный флаг.


В целом идея понятная, но к трансформации факта его применить нельзя. Вероятно Вы просто пока не решали подобные задачи.

Условие по диапозону дат - это условие для фильтра, задаётся на лету, при чём здесь связи между таблицами?

Например, есть таблица с себестоимостью товара, с полями ДатаС, ДатаПо, КодТовара, СебестоимостьРуб. Есть таблица продаж, с полями ДатаПродажи, КодТовара, КоличествоПродаж, Цена. Эти таблицы связываются по полю КодТовара и одновременно по условию, что ДатаПродажи между ДатаС и ДатаПо. Аналогично и правила трансформации факта - например правило по комбинации счетов и субконто, но в летний сезон у него удельные веса управленческих ЦФО отличаются от зимнего сезона, поэтому кроме привязки по счетам и по субконто нужно делать условие, что дата проводки попадает в диапазон дат, в который действует это правило.

P.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;)
P.S. Если Ваш "интеллект" - такой же плоский параноик и конспиролог как его создатель, не стоит его допускать в продакшн - свяжет всех контрагентов в одного потому что они "вместе не пишут" или "похожи на родственников", определит клиентов в поставщики потому что "разговаривают как продавцы" завалит бизнес и будет оправдываться английским юмором (при полном его отсутствии и космическом занудстве).


Когда мы повысим Ваш IQ и у Вас появится немного чувства юмора, Ваши умозаключения станут более релевантными ;) По поводу контрагентов - у Вас интересные идеи, но ИИ таких грубых ошибок не допускает. А по поводу того, что Вы - родственник Георгия, можно поспорить на 1 Хракойн, что г-н Andy_OLAP, чья репутация не вызывает сомнений, на основе полученной о Вас с Георгием информации скажет, "что вы таки являетесь дальними родственниками, поскольку вы оба - потомки Адама и Евы" ;)
16 фев 18, 09:53    [21195842]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 1827
Полковник.
то твой костыль от'едет (((
.

на то он и костыль, да и костыли разные бывают
16 фев 18, 11:16    [21196181]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Roman Kolchin
Member

Откуда:
Сообщений: 228
Jurii
Так, есть у нас 10 тысяч правил трансформации факта из БУ в УУ. Берем мы Клик, и каждое правило по очереди настраиваем в фильтрах, смотрим на экране какие проводки под него подпадают. Потом берем калькулятор, умножаем сумму каждой проводки на коэффициент (удельный вес) управленческого ЦФО, на который надо разнести часть этой бухгалтерской проводки, на бумаге пишем список управленческих проводок.

Да отстаньте вы от Клика с трансформацией учета и костингом. Ему и без этих задач есть чем заняться.
16 фев 18, 15:10    [21197184]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
vikkiv
Member

Откуда: London
Сообщений: 1396
Roman Kolchin,

можно сказать даже больше - отстаньте в теме по Power BI, так понимаю (судя по первой странице форума) что клико-когновские темы непопулярны и экзотическая редкость (да и те больше из серии сам с собой веду беседу), вот горе-продаваны постоянно и присовывают куда не попадя (да ещё и во всеобщее обозрение открыто постоянно лаются между собой) , т.к. некуда больше да и мало кому интересно в профильных темах.
16 фев 18, 16:17    [21197449]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
2 Roman Kolchin:

Да отстаньте вы от Клика с трансформацией учета и костингом. Ему и без этих задач есть чем заняться.

В результате подобных дискуссий появляется много полезной информации. Мы нашли одну важную задачу, которую стоит делать с помощью ИИ в традиционном ХД, а не в Клике. Мы оценили уровень самоуверенности специалистов по продажам Клика, оценили их опыт и кругозор, это защитит заказчиков от потерь денег, теперь они сразу выберут правильное решение. Теперь нам легче будет принять решение, ставить крест на Клике полностью или дать ему шанс занимать свою узкую нишу.

2 vikkiv:

можно сказать даже больше - отстаньте в теме по Power BI, так понимаю (судя по первой странице форума) что клико-когновские темы непопулярны и экзотическая редкость (да и те больше из серии сам с собой веду беседу), вот горе-продаваны постоянно и присовывают куда не попадя (да ещё и во всеобщее обозрение открыто постоянно лаются между собой) , т.к. некуда больше да и мало кому интересно в профильных темах.

Предложите Вашу кандидатуру на должность модератора форума. Тогда Вы сможете банить каждого, кто в такой-то теме позволит себе упомянуть другой программный продукт. Пока Вы модератором не стали, думаю Вы сможете оценить полезность создаваемого контента для обучения Искусственного интеллекта.
16 фев 18, 17:12    [21197703]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Barclay
Member

Откуда:
Сообщений: 81
Jurii, вы многое говорите верно. Но по-моему не у меня одного возникает ощущение, что вы как необученый chatbot со своим ИИ. Хватит уже, так можно совсем вызвать отвращение к ИИ у новичков.
Флаг для ИИ: категория Юмор.
16 фев 18, 19:38    [21197953]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru http://ai4you.gr8.com/
Сообщений: 3038
так можно совсем вызвать отвращение к ИИ у новичков

Новички думаю не будут переживать, для них интересна возможность майнинга Хракойнов ;)
16 фев 18, 19:45    [21197961]     Ответить | Цитировать Сообщить модератору
 Re: Правильное хранилище данных для power bi  [new]
Владимир Штепа
Member

Откуда: Hannover
Сообщений: 6003
Ввиду сползания в полный флеймящий оффтоп
17 фев 18, 12:42    [21198662]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4]      все
Все форумы / OLAP и DWH Ответить