Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 olap out of memory  [new]
мигель1
Member

Откуда:
Сообщений: 3298
Доброй ночи!
out of memory при процессинге куба

Как понять, на что не хватает памяти , и как можно оптимизировать?

Спасибо
18 ноя 17, 04:51    [20965380]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
мигель1
Доброй ночи!
out of memory при процессинге куба

Как понять, на что не хватает памяти , и как можно оптимизировать?

Спасибо

Предлагаю идти поэтапно. Версия SSAS. Размер оперативной памяти на сервере. Наличие крупных измерений. А самое главное - куб то какой, MOLAP или SSAS Tabular?
19 ноя 17, 13:50    [20966920]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
мигель1,

Если MOLAP, самая простая проверка, что у Вас нет дефицита оперативной - наблюдать во время крупных измерений за файлами [url=If you see minimal CPU usage and many .khstore files being trickled (at 300kb/sec) off disks, SSAS doesn’t have enough RAM]khstore[/url]. Может быть, Вы предварительно измерения не обрабатываете вообще, и при ProcessFull куба они начинают предварительно сами обрабатываться ProcessFull, то есть проблема не в кубе, а в количестве элементов в измерениях, которые с ним связаны...
19 ноя 17, 13:55    [20966925]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
Andy_OLAP,

Ссылка про файлы khstore, в предыдущем сообщении промахнулся.
19 ноя 17, 13:56    [20966928]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
мигель1,

Плюс хорошая ссылка с размышлениями от Джесса Ороша, что для измерений нужно - снежинка или звезда. В общем, начните с ProcessFull измерений куба, одно за другим, и мониторьте расход памяти.
19 ноя 17, 13:58    [20966932]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
мигель1
Member

Откуда:
Сообщений: 3298
Andy_OLAP
мигель1,

Плюс хорошая ссылка с размышлениями от Джесса Ороша, что для измерений нужно - снежинка или звезда. В общем, начните с ProcessFull измерений куба, одно за другим, и мониторьте расход памяти.




Спасибо, падает на мере (distinct count) 300 000 000

16 гб оперативки
модель molap
mssql 2012
19 ноя 17, 15:05    [20967005]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
мигель1
Andy_OLAP
мигель1,

Плюс хорошая ссылка с размышлениями от Джесса Ороша, что для измерений нужно - снежинка или звезда. В общем, начните с ProcessFull измерений куба, одно за другим, и мониторьте расход памяти.




Спасибо, падает на мере (distinct count) 300 000 000

16 гб оперативки
модель molap
mssql 2012

Ставьте только для этого измерения 48 Гб. А для куба в целом еще. Так что 64 - это минимум, с которого Вы будете работать. 16 - это таки даже не смешно...
19 ноя 17, 15:22    [20967055]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
Andy_OLAP,

Ой-вей, промахнулся, речь не об измерении. ProcessStructure куба, затем ProcessData группы мер Distinct Count проходит? Затем ProcessIndex проходит? Падает на ProcessFull группы мер или на ProcessFull куба, когда доходит дело до этой группы мер?
Максимальный размер измерения, на ключе которого считается distinct count, какой?
19 ноя 17, 15:25    [20967063]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
мигель1
Andy_OLAP
мигель1,

Плюс хорошая ссылка с размышлениями от Джесса Ороша, что для измерений нужно - снежинка или звезда. В общем, начните с ProcessFull измерений куба, одно за другим, и мониторьте расход памяти.




Спасибо, падает на мере (distinct count) 300 000 000

16 гб оперативки
модель molap
mssql 2012

И я так предполагаю, что группу мер на раздельные Partitions (секции) Вы разбивать не стали, одним ударом решили 300 миллионов обработать?
19 ноя 17, 15:26    [20967067]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
мигель1
Member

Откуда:
Сообщений: 3298
Andy_OLAP
мигель1
пропущено...




Спасибо, падает на мере (distinct count) 300 000 000

16 гб оперативки
модель molap
mssql 2012

И я так предполагаю, что группу мер на раздельные Partitions (секции) Вы разбивать не стали, одним ударом решили 300 миллионов обработать?


Да, но
1. я думаю 12 гигов должно хватить на 300 лямов
2. distinct нельзя бить на партиции
19 ноя 17, 17:50    [20967268]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1310
мигель1
Andy_OLAP
пропущено...

И я так предполагаю, что группу мер на раздельные Partitions (секции) Вы разбивать не стали, одним ударом решили 300 миллионов обработать?


Да, но
1. я думаю 12 гигов должно хватить на 300 лямов
2. distinct нельзя бить на партиции

1. Если крупных измерений нет. И если Aggregation Design не прикручивали тот, который предлагается визардом от MS, там полный бред, лучше убрать в пустоту и еще раз попробовать.
2. Можно. Допустим, у Вас чековые обороты. И количество чеков счетчиком distinct count по ID чека. Нарезаете обе группы мер на секции по 1 году или по 1 кварталу или по 1 месяцу, прикручиваете грамотно Slice - и обрабатываете одну секцию за другой, если памяти не хватает.
19 ноя 17, 20:22    [20967451]     Ответить | Цитировать Сообщить модератору
 Re: olap out of memory  [new]
мигель1
Member

Откуда:
Сообщений: 3298
Andy_OLAP,

Спасибо попробую
20 ноя 17, 13:36    [20969030]     Ответить | Цитировать Сообщить модератору
Все форумы / OLAP и DWH Ответить