Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Разработка информационных систем Новый топик    Ответить
 Аналитика на стеке от Microsoft. Какое ПО использовать?  [new]
хорошо я согласен
Member

Откуда:
Сообщений: 317
У ms появляются продукты, которые как будто бы сами с собой конкурируют.
Например, уже, по ходу, не нужен SSAS - ведь есть PivotView; или SSIS - ведь есть PowerQuery; и так далее.
Только никто не говорит, как оно работает с большими объёмами данных.
Вот, я хочу узнать, как нынче лучше построить ИС?

Вот, есть сеть пиццерий DildoPizza по всей стране
Разные юзеры ответственны за разные регионы (т.е. права на уровне строк БД нужно будет).
Данные хранятся в 1С и самописной здоровенной по - всё находится в локальной внутренней сети, и данные эти предварительно автоматом чистятся.
Их нужно чистить, приводить к одному виду. Данных "много" за много лет.

Пользователи хотят sharepoint, powerbi и office 365.

В итоге: SQL server вообще нужно использовать? В связке с Data GateWay. Или SQL Database? Но в PowerBI вообще есть рекомендация загружать все данные в неё. Получается, что дублирование данных в SQL server вообще не нужно? как правильно?
Т.е. можно вообще обойтись лишь PowerBI и вообще без SQL Server?
19 сен 18, 22:13    [21680102]     Ответить | Цитировать Сообщить модератору
 Re: Аналитика на стеке от Microsoft. Какое ПО использовать?  [new]
Alex_496
Member

Откуда:
Сообщений: 3806
Если говорить про стек Microsoft, то

DWH - это SQL DataBase
вся сила в DWH, на тщательно продуманной модели данных, для больших компаний критично.

MDS - для ведения и унификации мастер справочников (возможно понадобится)
автор
Про чистить данные
... это еще и большая работа по купировании возможности зарождения кривых данных в источниках, иначе GIGO

ETL - это все еще SSIS для больших проектов в том числе. Хотя SSIS нужно развивать
PowerQuery - это не ETL уровня предприятия.

OLAP - Multidimesional или Tabular поверх DWH (холивар оставим)
Кубы можете крутить разными OLAP-клиентами, разные вендоры поддерживают SSAS

Если в полный рост разворачивать SharePoint (не только как Web портал для web-страниц, файловых вложений, новостей и т.п., но и PowerView и др.), то нужно основательно погружаться в администрирование как техническое так и структуризации контента, публикуемого материала. Иначе превратится в свалку.


автор
У ms появляются продукты, которые как будто бы сами с собой конкурируют.

Это не только у MS. У других - тоже полный калейдоскоп, потому что, в частности, скупили разные продукты
19 сен 18, 23:43    [21680159]     Ответить | Цитировать Сообщить модератору
 Re: Аналитика на стеке от Microsoft. Какое ПО использовать?  [new]
хорошо я согласен
Member

Откуда:
Сообщений: 317
Alex_496
OLAP - Multidimesional или Tabular поверх DWH (холивар оставим)

какого рода холивар на этом моменте обычно появляется? Я из любопытства.
Я SSAS делал - и молапы, и ролапы. И да, он поверх DWH. О чём тут обычно спорить начинают?
20 сен 18, 00:02    [21680172]     Ответить | Цитировать Сообщить модератору
 Re: Аналитика на стеке от Microsoft. Какое ПО использовать?  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
хорошо я согласен,

Холивар имеется в виду - MOLAP или Tabular выбирать, первый старый и уже совсем некошерный, второй современный и лучше подходит для модных штук типа PowerBI, но заранее продумать, чтобы влезло в оперативную память, мало у кого получается.
А что поверх DWH - это в любом случае, иначе принцип GIGO сработает (GavnoIn = GavnoOut).
20 сен 18, 00:16    [21680178]     Ответить | Цитировать Сообщить модератору
 Re: Аналитика на стеке от Microsoft. Какое ПО использовать?  [new]
Дмитрий Мух
Member

Откуда: Зеленоград
Сообщений: 1320
хорошо я согласен
Вот, есть сеть пиццерий DildoPizza по всей стране...

Ха, дак есть Dodo Pizza на стеке Microsoft. Регулярно выступают с докладами на всяких дотнекстах.

Пойдите да спросите их
20 сен 18, 08:30    [21680271]     Ответить | Цитировать Сообщить модератору
 Re: Аналитика на стеке от Microsoft. Какое ПО использовать?  [new]
Alex_496
Member

Откуда:
Сообщений: 3806
Andy_OLAP,

Oracle еще старее и потому ль еще менее кошерный.

Можно и ClickHouse & Я.Bi обещают хорошо развивать

Холивар по выбору напильников давно надоел.

Лучше давайте обсуждать какие управленческие решения приняли на базе BI и какой профит получили не только лично
20 сен 18, 15:40    [21680961]     Ответить | Цитировать Сообщить модератору
 Re: Аналитика на стеке от Microsoft. Какое ПО использовать?  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 7443
Alex_496
Лучше давайте обсуждать какие управленческие решения приняли на базе BI и какой профит получили не только лично

Ну я например наблюдаю, что BI просто затыкают дырки в отчетности

Не было бы BI, нужно было бы дополнительно 100500 отчетов в Reports рисовать - а это разработчики, время и деньги.
20 сен 18, 15:49    [21680974]     Ответить | Цитировать Сообщить модератору
 Re: Аналитика на стеке от Microsoft. Какое ПО использовать?  [new]
хорошо я согласен
Member

Откуда:
Сообщений: 317
Leonid Kudryavtsev
Alex_496
Лучше давайте обсуждать какие управленческие решения приняли на базе BI и какой профит получили не только лично

Ну я например наблюдаю, что BI просто затыкают дырки в отчетности

Не было бы BI, нужно было бы дополнительно 100500 отчетов в Reports рисовать - а это разработчики, время и деньги.

По мне - BI выглядит только как интерфейс к данным.
Но там есть два способа подключиться к данным - целиком скопировать их внутрь BI (если это десктопный - то тупо в оперативку, видимо), либо DirectQuery, т.е. при каждом перестроении отчётов BI полезет в источники данных, т.е. на SQL сервер, например.
При этом в документации настаивают на том, что первый способ более рекомендуемый. В толк взять не могу, нафига в BI дубль данных? Причём, в большинстве случаев счёт идёт, всё-таки, на десятки-сотни Гигабайт, если не в Терабайтах вообще. И что, при открытии проекта перед началом построения отчётов будет сначала импортирован весь терабайт данных с внешнего источника? Выглядит как-то по-идиотски... я чего-то не понимаю.

Всегда думал, что с помощью SSIS собираются данные с сайтов, с 1С, из самописных ПО в одну базу SQLServer и оттуда уже льётся всё в SSAS, там подключаем Excel или SSRS и глазеем на отчёты.

И вот сейчас получается, что, вроде как, можно забыть напрочь про SSIS, забыть про SSEngine - всё напрямую лить в этот самый BI через PowerQuery. И я нигде не смог в документации найти о каких-либо ограничениях по размерам базы данных.
20 сен 18, 17:13    [21681178]     Ответить | Цитировать Сообщить модератору
 Re: Аналитика на стеке от Microsoft. Какое ПО использовать?  [new]
Alex_496
Member

Откуда:
Сообщений: 3806
Из зоопарка систем, да даже из двух - CRM и ERP - уже получите нелогизмы, разрывы, или данные, не совсем идентично отражающие реальную жизнь.
Да не суть, каким образом получены отчеты.
Допустим, все вовремя, выверенные данные, продуманные отчеты. Дальше то что?

а)
Ну вот несколько банков из Топ-20. У них и DWH и BI (и не один) и прикладные ресурсы в виде систем, аналитиков, отчетов, дашбордов и аналитических прежентаций. И именитые вендоры, и истории успехов в глянцевых IT-журналах.

б)
И в то же время - санации, ликвидации и т.п.

Т.е. получается а) не уберегает от б).
Или Дашборды, отчеты, | принятие решений | ЛПР-ы -- все это живет в параллельных мирах.
20 сен 18, 20:50    [21681373]     Ответить | Цитировать Сообщить модератору
 Re: Аналитика на стеке от Microsoft. Какое ПО использовать?  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 7443
Alex_496
Т.е. получается а) не уберегает от б).

попилинг и откатинг - никак от сонаций уберечь не может
скорее уж наоборот, сонация - способ спихнуть убытки от попилинга и откатинга на гос. бюджет. Т.ч. все закономерно, сначала попилинг и откатинг, потом сонация, потом все по новой ))) круговорот бабла в природе

Из зоопарка систем, да даже из двух - CRM и ERP - уже получите нелогизмы, разрывы, или данные, не совсем идентично отражающие реальную жизнь.
Да не суть, каким образом получены отчеты.

IMHO поэтому их и заливают в DWH, что бы можно было вовремя "нелогизмы, разрывы" обнаружить и устранить на раннем этапе (если такая задача ставится), пока это не дошло до клиентгов, арбитражей, судов и так далее...

но это касается непосредственное сотрудников, которые хоть как-то своими пятыми точками бизнес поддерживают (работу выполняют). А топ-менеджент в госах, обычно - см. первую часть данного сообщения ))).

хорошо я согласен
BI выглядит только как интерфейс к данным.

дык все IT это только интерфейс к данным. Собственно данные на жестком диске - никому даром не нужны.

OLAP & BI обычно все же значительно дешевле, чем классические отчеты на каждый чих рисовать и потом поодерживать (cost of ownership)

всё напрямую лить в этот самый BI

Обычно в OLTP данные достаточно сложно представлены и если система старая, постепенно преврашаются в помойку и без пол-бутылки не разберешься. Т.к. очень много сложных случаев, которые встречаются 1 раз на 10 000 клиентов, но их все равно нужно как-то поддерживать. Для OLAP-же, обычно, все эти сложные случае даром не нужны.
(например несколько вариантов прихода платежей от расчетных цетров по эквайрингу и у всех свой метод удержания комиссии и присылки документов, в OLTP - это важно, для OLAP - пофиг)

Т.ч. сделать хранилище OLAP с упрощенной структурой, перелить туда данные упростив их и структурировав и потом строить отчеты по OLAP - значительно дешевле и эффективнее.

IMHO
21 сен 18, 11:33    [21681805]     Ответить | Цитировать Сообщить модератору
Все форумы / Разработка информационных систем Ответить