Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 SSAS: максимальное число мер и измерений в пивоте Excel  [new]
T87
Member

Откуда:
Сообщений: 76
Всем привет!

Имею сервер с 16ядрами по 2,5ГГц, 128Гб RAM, Sql Server 2014.

Есть DWH на 150Гб, порядка 250млн записей, денормализованое. На нем крутится Multidimensional кубик. 6 групп мер, порядка 20 дименшенов

Проблема в том, что я устал биться с пользователями. Они хотят повытаскиватькучу измерений и мер в пивот и смотреть это в экселе. Соответственно все это работает долго. Я поприменял все советы по оптимизации. Но юзеры всё равно недовольны.

Тут на форуме часто пишут, что громадные DWH отлично перевариваются кубами. Какие у вас объемы и сколько мер и измерений можно вытащить в экселе, чтобы отчет построился до 30 секунд?
3 янв 18, 23:00    [21080842]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
ShIgor
Member

Откуда: Нижний Новгород
Сообщений: 1965
T87,
осталось применить последний совет: поменяйте юзеров.
если у них остается желание наповытягивать все, значит Ваш кубик не решает их задачи.
а с этим можно бороться только двумя способами - последний уже озвучил, а первый из всех значительно сложнее, затратнее, проблемнее и т.п.: понять Ваших юзеров, а затем, предоставить им не просто кубик, а удобное средство для решения их задач и достижения целей.
3 янв 18, 23:23    [21080889]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31675
Блог
T87,

Если им нужны отчеты-простыни, то делайте их в RS.
Если пользователи хотят иметь их в экселе, то сделайте вызов RS-отчетов через action
3 янв 18, 23:30    [21080898]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4761
T87
повытаскивать кучу измерений и мер в пивот и смотреть это в экселе
- сколько атрибутов измерений и мер возвращается в эксель в этом случае?
- если смотреть профайлером какой элемент mdx скрипта самый "долгий" в этом случае?
3 янв 18, 23:30    [21080899]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31675
Блог
T87,

Как вариант - проведите им ликбез по T-SQL и как интегрировать запросы в эксель.
3 янв 18, 23:31    [21080902]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
T87
Member

Откуда:
Сообщений: 76
Им подавай self-service, ad-hoc и прочие модные словечки, которые продавали им менеджеры. Отчеты на RS конечно же есть
3 янв 18, 23:38    [21080916]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
T87
Member

Откуда:
Сообщений: 76
Дедушка
T87
повытаскивать кучу измерений и мер в пивот и смотреть это в экселе
- сколько атрибутов измерений и мер возвращается в эксель в этом случае?
- если смотреть профайлером какой элемент mdx скрипта самый "долгий" в этом случае?

Порядка 10-12 измерений и 3 мер.
Долгие m2m, но от них не убежать. Есть правда еще parent-child, который я собираюсь натурализировать
3 янв 18, 23:40    [21080920]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
T87
Member

Откуда:
Сообщений: 76
Так все-таки, поделитесь размерами своих кубов и пивотов?
3 янв 18, 23:41    [21080921]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4761
T87
Порядка 10-12 измерений и 3 мер.
Долгие m2m, но от них не убежать. Есть правда еще parent-child, который я собираюсь натурализировать
тогда, простите, причём тут эксель и пользователи которые с ваших слов аки монстры??
при "сложных" кубах проектирование в лоб не прокатывает...
3 янв 18, 23:48    [21080934]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
T87
Member

Откуда:
Сообщений: 76
Дедушка
T87
Порядка 10-12 измерений и 3 мер.
Долгие m2m, но от них не убежать. Есть правда еще parent-child, который я собираюсь натурализировать
тогда, простите, причём тут эксель и пользователи которые с ваших слов аки монстры??
при "сложных" кубах проектирование в лоб не прокатывает...

Так я ж и прошу поделиться опытом. И понять нужно ли еще копать в оптимизацию...
3 янв 18, 23:55    [21080947]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
Ирвин
Member

Откуда:
Сообщений: 27
T87,

попробуй табулярку, должно влезть, и будет быстрее работать.
4 янв 18, 12:53    [21081484]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
T87
Member

Откуда:
Сообщений: 76
Ирвин
T87,

попробуй табулярку, должно влезть, и будет быстрее работать.

Да, это один из следующих планов.
Был еще вариант ROLAP + Columnstore
4 янв 18, 13:30    [21081544]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1469
T87
Был еще вариант ROLAP + Columnstore

Про это в этой ветке куча высказываний от Воронина из WildBerries, он фанат этой связки.
4 янв 18, 13:46    [21081579]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
vikkiv
Member

Откуда: London
Сообщений: 1189
SSAS покрывает широкий спектр бизнес задач и Excel всего-лишь один (из многих) интерфейсов, Excel хорошо работает (всё остальное не для него) с моделью звезда и плоскими измерениями, там генератор MDX не принимает во внимание модель данных (просто не знает, т.е. одно примитивное решение для всех случаев) - соответственно никак не сможет сгенерировать оптимальный запрос при более сложных моделях куба.. следовательно есть дерево возможных решений:
- если уже всё оптимизировано оставить как есть (если бюджет на другие решения не выделен) или наращивать процессорные (железные) мощности, в общем профайлер (оба: SQL и Windows) в руки и вперёд узкие места искать..
- работать с пользователями на тему как оптимальнее пользоваться Excel с имеющимися кубами (что в фильтрах, что на осях, когда добавлять меры, куда и где что-то сначала выставить прежде чем обновлять) вплоть до варианта где Excel/Pivot а где другие инструменты (от прямого/оптимизированного MDX под Pivot через VBA и до..).
- писать под круг задач свой UI / генератор MDX запросов который будет учитывать нюансы модели данных.

Так что если бизнес-спонсоры кидают модные слова то пускай финансируют проект (выделяют адекватный бюджет), участвуют в оценке, формируют требования - нанимайте архитектора и собирайте команду разработчиков
Иначе за бесплатно можно много чего хотеть - классическая дилемма не ограниченных потребностей против ограниченных возможностей (системы).

Только что закончил схожий проект с тысячами партиций, кучей групп мер (в некоторых под тысячу физических мер), каскадными M2M, измерениями на миллионы элементов по некоторым из сотни атрибутов - и ничего: всё более-менее летает.
4 янв 18, 15:44    [21081777]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
T87
Member

Откуда:
Сообщений: 76
vikkiv
SSAS покрывает широкий спектр бизнес задач и Excel всего-лишь один (из многих) интерфейсов, Excel хорошо работает (всё остальное не для него) с моделью звезда и плоскими измерениями, там генератор MDX не принимает во внимание модель данных (просто не знает, т.е. одно примитивное решение для всех случаев) - соответственно никак не сможет сгенерировать оптимальный запрос при более сложных моделях куба.. следовательно есть дерево возможных решений:
- если уже всё оптимизировано оставить как есть (если бюджет на другие решения не выделен) или наращивать процессорные (железные) мощности, в общем профайлер (оба: SQL и Windows) в руки и вперёд узкие места искать..
- работать с пользователями на тему как оптимальнее пользоваться Excel с имеющимися кубами (что в фильтрах, что на осях, когда добавлять меры, куда и где что-то сначала выставить прежде чем обновлять) вплоть до варианта где Excel/Pivot а где другие инструменты (от прямого/оптимизированного MDX под Pivot через VBA и до..).
- писать под круг задач свой UI / генератор MDX запросов который будет учитывать нюансы модели данных.

Так что если бизнес-спонсоры кидают модные слова то пускай финансируют проект (выделяют адекватный бюджет), участвуют в оценке, формируют требования - нанимайте архитектора и собирайте команду разработчиков
Иначе за бесплатно можно много чего хотеть - классическая дилемма не ограниченных потребностей против ограниченных возможностей (системы).

Только что закончил схожий проект с тысячами партиций, кучей групп мер (в некоторых под тысячу физических мер), каскадными M2M, измерениями на миллионы элементов по некоторым из сотни атрибутов - и ничего: всё более-менее летает.

Можете описать, что подразумевается под словом "летает"? Именно касательно экселя
5 янв 18, 13:05    [21083035]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
vikkiv
Member

Откуда: London
Сообщений: 1189
T87,

На Excel уверен что будет тормозить (т.к. в лоб не предназначен для сложных моделей), выше было предложение написать свой generator MDX (у нас он встроен в свой UI) который знает нюансы модели данных, а не полагается на то что сочинит Excel или как это преобразует внутренний оптимизатор запросов SSAS.
5 янв 18, 16:54    [21083446]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
Гулин Федор
Member

Откуда: МИНСК
Сообщений: 918
vikkiv
T87,

На Excel уверен что будет тормозить (т.к. в лоб не предназначен для сложных моделей), выше было предложение написать свой generator MDX (у нас он встроен в свой UI) который знает нюансы модели данных, а не полагается на то что сочинит Excel или как это преобразует внутренний оптимизатор запросов SSAS.


Если я правильно понял у вас свой GUI (веб или десктоп ?)
к-й настраивается и юзеры лазят к кубу через него ?
Сдаетмя мне кроме высокой квалификации
Если не секрет примерно сколько людей это писало и сколько по времени плюс-минус.

зы да и чисто интресно - он и к MDM и к Tabular умеет стучаться ?
5 янв 18, 20:04    [21083766]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
vikkiv
Member

Откуда: London
Сообщений: 1189
Гулин Федор,

детали по известным причинам раскрывать не могу, в общих чертах - такой проект может около года занимать, команда явно больше 10ти (там и интеграторов много от Индийского TCS и до Польского Люксофта), там ядро/engine на Сях написано, сейчас GUI - Web на .Net/Angualr - но в архитектурно что к ядру цеплять для drag-n-drop (хотя и с ограниченной гибкостью т.к. писалось для узкого круга определённых требованиями задач, след. ..к MDM и к Tabular.. не стучится) вопрос чисто локальныx приоритетов.
5 янв 18, 20:46    [21083816]     Ответить | Цитировать Сообщить модератору
 Re: SSAS: максимальное число мер и измерений в пивоте Excel  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 409
T87
vikkiv
...

Только что закончил схожий проект с тысячами партиций, кучей групп мер (в некоторых под тысячу физических мер), каскадными M2M, измерениями на миллионы элементов по некоторым из сотни атрибутов - и ничего: всё более-менее летает.

Можете описать, что подразумевается под словом "летает"? Именно касательно экселя

Гм, на своем опыте. Проект энергетиков, много мер (более 600), измерений (более 50), M2M каскадные - то есть привязка через цепочку M2M. Основной клиент - Excel, возможности для разработки собственного клиента нет. Данных - средне по местным меркам, куб MOLAP на несколько терабайт. Сервер SSAS скромный.
Результат - относительно простые запросы пользователи делают сами через Excel pivot. Максимальное время ожидания - до 30 сек, или не умещается в pivot по количественным ограничениям.
Как добиться. Основные пути - партицирование с обязательным slice, подбор размера партиции M2M. Партиций много, требуется генератор и прочие танцы с бубном.
9 янв 18, 15:03    [21090274]     Ответить | Цитировать Сообщить модератору
Все форумы / OLAP и DWH Ответить