Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
Charles Weyland
Member

Откуда: Feorina "Fury" 161
Сообщений: 4375
Что если BI является не конечной точкой в цепи ИС, а промежуточной? Как вы реализовывали подобную архитектуру? Приходилось ли?

Есть KPI, вычисленный в кубе/в отчёте на основе данных из DWH, собранных из десятка систем.
Т.е. если необходимо построить систему, которая производит операционную обработку и анализ этих KPI? Например, "как только показатели A, B и C продержатся выше 60% на протяжении 120 дней, отправляется заявка на премирование", или пусть будет "как только показатель активности клиента А стал ниже 10%, отправить в CRM по MQ уведомление" и т.п.
14 сен 21, 16:09    [22371778]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 570
в топку легаси с кубами. без кубов считать KPI, писать в кафка топик, стриминг джоб читает кафку, пишет что-то в другие топики/источники.
14 сен 21, 16:48    [22371808]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
Агрох
Member

Откуда:
Сообщений: 117
По такому описанию звучит почти как использование одной витрины данных для построения другой витрины данных. Как бы достаточно рядовая ситуация.
14 сен 21, 16:58    [22371815]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
bideveloper
Member

Откуда:
Сообщений: 554
А в чем проблема? Операционная система же может послать запрос кубу на требуемые KPI.
14 сен 21, 21:30    [22371914]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35602
Блог
Charles Weyland,

Кубы тут лишние
14 сен 21, 23:08    [22371955]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
Ибн Хоттаб
Member

Откуда: Den marsianske sosialistiske sovjetrepublikk
Сообщений: 664
Наблюдал в природе потребление данных из ActivePivot движками которые считают риски/ликвидность/сценарии и тп. Слышал по радио что аналогичным образом использовался местами и Essbase. Это так и называлось - machine consumers.
15 сен 21, 09:33    [22371998]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
L_argo
Member

Откуда:
Сообщений: 1517
БиАй по расписанию может сформировать выборки (csv, xls), которые можно подхватить в любую систему.
15 сен 21, 09:49    [22372010]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1227
Charles Weyland
Что если BI является не конечной точкой в цепи ИС, а промежуточной? Как вы реализовывали подобную архитектуру? Приходилось ли?

1. Есть отдельный класс систем - проактивная аналитика, которая собирает информацию с ряда источников и автоматически принимает решения. Классический пример - сбор данных с датчиков и корректировка параметров (например, режима работы турбины) и выдача уведомлений (о необходимой замене агрегата или его некорректной работе). Обычно близко к риал-тайм, но возможны варианты, например, выдача задний проверить ценник если SKU никто не покупает несколько часов / дней.

2. Есть Alerting - зачастую встроенная функциональность, которая рассылает уведомления при изменении определенного показателя на определенное значение или процент. Куча сторонних решений + самописка не так сложна. Зачастую работает поверх BI или является его частью, что облегчает задачу (например, в клике так и называется, "Alerting").

Charles Weyland
Есть KPI, вычисленный в кубе/в отчёте на основе данных из DWH, собранных из десятка систем.
Т.е. если необходимо построить систему, которая производит операционную обработку и анализ этих KPI? Например, "как только показатели A, B и C продержатся выше 60% на протяжении 120 дней, отправляется заявка на премирование", или пусть будет "как только показатель активности клиента А стал ниже 10%, отправить в CRM по MQ уведомление" и т.п.

Чистой воды Alerting. Просто тут как минимум 2 варианта, или делать все на DWH / витрине, тогда кубы не нужны. Но если уже этот "самолет" собран на кубах, то перебрать его на уровне DWH - так себе задача, особенно когда бизнес постоянно добавляет новые критерии, которые также считаются в кубах.
Агрох
По такому описанию звучит почти как использование одной витрины данных для построения другой витрины данных. Как бы достаточно рядовая ситуация.
+100500
H5N1
в топку легаси с кубами. без кубов считать KPI, писать в кафка топик, стриминг джоб читает кафку, пишет что-то в другие топики/источники.
Да нафиг там кафка и стриминг? Не турбина, чай. Пусть пишет в промежуточную таблицу показатель и время расчета, потом просто сравнивать показатели по заданным параметрам при появлении новых записей. Или по триггеру, или просто по schedule'ру.

С Уважением,
Георгий
15 сен 21, 09:56    [22372013]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 570
George Nordic
Да нафиг там кафка и стриминг? Не турбина, чай. Пусть пишет в промежуточную таблицу показатель и время расчета, потом просто сравнивать показатели по заданным параметрам при появлении новых записей. Или по триггеру, или просто по schedule'ру.

что бы не заниматься ерундой и не изобретать велосипед. зачем кому-то потом гадать, ваш велосипед на по тригеру, шедуллеру или еще как прикручен, если есть промышленное решение, которое из коробки гарантирует read only once, fault tolerant, умеет все делать в параллель и прочая ?
15 сен 21, 12:16    [22372062]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4937
Charles Weyland
Что если BI является не конечной точкой в цепи ИС, а промежуточной? Как вы реализовывали подобную архитектуру? Приходилось ли?


Как бы ситуация распространенная, например BI считает рекомендации и выдает их потребителю. Я даже видел на основе куба была реализована панель в интернет магазине, которая показывала, сколько каких товаров в какой категории есть в наличии при примененных фильтрах.

С архитектурой ничего сложного -- просто полученный результат надо превратить в таблицу и выгрузить на сторону потребителя. В OLTP систему.

Я, например, считал топ 100 продаж в каждом направлении и выгружал на сайт, где они показывались в соответствующих разделах.
15 сен 21, 16:34    [22372166]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
L_argo
Member

Откуда:
Сообщений: 1517
что бы не заниматься ерундой и не изобретать велосипед. зачем кому-то потом гадать, ваш велосипед на по тригеру, шедуллеру или еще как прикручен, если есть промышленное решение, которое из коробки гарантирует ...
Вы вместо велосипеда предлагаете заморочится с атомным реактором. Приобрести его, изучить, развернуть, настроить, чтобы зажечь лампочку в сарае.
Обычно такое предлагают инфоцыгане. С вейпом и на гироскутерах. :)

Чаще всего достаточно одной примитивной зачитки OLTP -> BI -> OLTP в сутки. Причем доделать только вторую стрелочку, т.к. первая обычно уже готова. В простых случаях это можно сделать за 10 минут.
16 сен 21, 09:44    [22372382]     Ответить | Цитировать Сообщить модератору
 Re: Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 570
L_argo
Вы вместо велосипеда предлагаете заморочится с атомным реактором. Приобрести его, изучить, развернуть, настроить, чтобы зажечь лампочку в сарае.
Обычно такое предлагают инфоцыгане. С вейпом и на гироскутерах. :)

Чаще всего достаточно одной примитивной зачитки OLTP -> BI -> OLTP в сутки. Причем доделать только вторую стрелочку, т.к. первая обычно уже готова. В простых случаях это можно сделать за 10 минут.

мне кажется вы занимаетесь не своим делом, если для вас кафка это атомный реактор и топите за наколенные нашлепки с кронтабом и тригерами. "отправить в CRM по MQ уведомление" - самое место в тригерах.
ладно. наверно оно и к лучшему, в мире где кафка уже ядерный реактор у меня зп выше
16 сен 21, 11:31    [22372426]     Ответить | Цитировать Сообщить модератору
Все форумы / OLAP и DWH Ответить