Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
 Re: Зависает процессинг куба  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 399
Критик
Ferdipux,

На тестовой системе воспроизводится?
Если куб полностью переразвернуть из проекта (с удалением предыдущего) - ошибка воспроизводится?

Если развернуть проект на тестовом сервере DWH (где мало данных) - не воспроизводится.
Если развернуть проект на копии продуктива - воспроизводится.
5 сен 16, 16:29    [19629608]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31048
Блог
Если разбить скрипт на отдельные блоки: процессинг измерений, Process Data и Process Index?
Где повиснет?
5 сен 16, 17:32    [19629927]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 399
Критик
Если разбить скрипт на отдельные блоки: процессинг измерений, Process Data и Process Index?
Где повиснет?

Писал выше - Process Index. Process Update и Process Data идет без подобных зависаний.
5 сен 16, 17:40    [19629989]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31048
Блог
А если запустить прцоессинг сразу после рестарта службы SSAS - тоже виснет?
5 сен 16, 18:05    [19630123]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 399
Критик
А если запустить прцоессинг сразу после рестарта службы SSAS - тоже виснет?

Какой - сразу Process Index, или сделать стандартный цикл - Process Dim Update, Process Cube Data, Process Cube Index?
5 сен 16, 18:17    [19630176]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31048
Блог
так: Process Dim Update, Process Cube Data, рестарт, Process Cube Index
5 сен 16, 18:22    [19630208]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Игорь Бобак
Member

Откуда:
Сообщений: 418
Ferdipux
Игорь Бобак
у меня стоит "к-во ядер умноженное на два", но я бы на вашем месте игрался начиная с к-ва ядер, и по чуть чуть увеличивал

Попробовал, выведя множитель ядер как параметр. К сожалению, зависание повторилось, даже с множителем 1. Так что попробуем открыть кейс в поддержке Microsoft.
Из интересного в этом - при множителе 1 и 2 - наблюдается явный недогруз CPU, так как очередь задач на процессинг не пуста и при этом загрузка CPU плавает в районе 40-60%.


я бы их попробовал бы отпрофайлить и получить flamegraph, а дальше бы ткнул носом Майкрософт в то, чем занимается SSAS.
6 сен 16, 11:21    [19631996]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
VicSO
Member

Откуда:
Сообщений: 148
Ferdipux,
смена сетевушки не помогла?
6 сен 16, 12:16    [19632289]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31048
Блог
на железке (не виртуалка) все ок?
6 сен 16, 20:46    [19634597]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 399
Критик
так: Process Dim Update, Process Cube Data, рестарт, Process Cube Index

Ага, попробовал. Результат интересный.
1. Сделал как описано - Process Dim Update, Process Cube Data, рестарт, Process Cube Index. Процессинг Process Cube Index прошел без ошибок и довольно быстро.
2. Попробовал воспроизвести кейс с зависанием в процессе последовательного процессинга без рестарта. Кейс воспроизвелся. Что любопытно - "висящий" SSAS не останавливался из Service Manager - писал для сервиса статус Stopping.

Попробовать на физ машине не могу ввиду отсутствия доступных оных (там нужна не только машина, но и подключение к фабрике FibreChannel, а с этим все плохо) :(...
14 сен 16, 18:04    [19665651]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Alex_496
Member

Откуда: Moscow http://dvbi.ru
Сообщений: 3467
Подыму тему.

SSAS MOLAP 2016 SP1 EE 64x
Оперативной памяти хватает

Полный процессинг измерения "Клиенты" (свыше 59 млн.) в 2 фазы:
Process Data - примерно < 9 мин. (в DSV - columnstore таблица)
Process Index - а вот эта фаза ~ 35 мин. длится

Натуральные иерархии:
Клиенты по поколениям от дат рождения
Клиенты по алфавиту - индекс, фамилия, фио, неуникальный клиент
Все ключи BIGINT, совместимость выставлена 1100

Как бы еще ускорить фазу Process Index ?
19 июл 17, 00:41    [20655966]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31048
Блог
Alex_496,

посмотреть, что в эти 35 минут происходит по счетчикам CPU/дисков
19 июл 17, 08:21    [20656111]     Ответить | Цитировать Сообщить модератору
 Re: Зависает процессинг куба  [new]
Yagrus2
Member

Откуда: Москва
Сообщений: 672
Alex_496,
Какая у вас дисковая система? Сколько доступно иопсов?
19 июл 17, 09:48    [20656377]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
Все форумы / OLAP и DWH Ответить