Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / OLAP и DWH Новый топик    Ответить
 Масштабирование OLAP SSAS  [new]
Max_11111
Member

Откуда:
Сообщений: 172
У нас развёрнут NLB кластер на 2 машины c одинаковыми характеристиками. OLAP развёрнут на MS SSAS 2012 (при необходимости можем обновить до 2017 версии).
Встал вопрос расширения кластера, т.к. текущий не справляется с нагрузкой. Хотели купить два мощных сервера (новый сервер примерно в 2 раза мощнее старого), но одобрили пока только один.
Вопрос вот в чём:
на 2 серверах через NLB нагрузка распределялась 50/50
на 3 серверах через NLB нагрузка будет распределяться 34/33/33, т.е. пропорционально количеству машин. Но одна машина то по мощности равна 2! Можно ли настроить балансировку на NLB как 50/25/25? Либо использовать какой-либо другой балансировщик, совместимый с SSAS OLAP, так чтобы можно было подключаться из Excel?
MS рекомендует только NLB
25 май 18, 10:47    [21439284]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5112
Max_11111
Можно ли настроить балансировку на NLB как 50/25/25?
да, изменением параметров узлов кластера.
25 май 18, 12:47    [21439860]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
vikkiv
Member

Откуда: London
Сообщений: 1652
Вроде это настройка "NLB Load Weight" (Port Rules). Но сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редко, в основном это во первых CPU, во вторых RAM/память (кэш), и только потом доступ к диску и сеть.
25 май 18, 12:57    [21439910]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5112
vikkiv
Но сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редко
с каких пор NLB кластер решает "проблемы с сетью"?
25 май 18, 13:25    [21440065]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
vikkiv
Member

Откуда: London
Сообщений: 1652
Дедушка,
?
docs.microsoft.com: The Network Load Balancing (NLB) feature distributes traffic across several servers by using the TCP/IP networking protocol.
25 май 18, 13:32    [21440085]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
vikkiv
Member

Откуда: London
Сообщений: 1652
а нагрузка (перегрузка) сети и есть одна из её (возможных) проблем, разве нет?
25 май 18, 13:33    [21440089]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 30514
Блог
Max_11111,

у нас софтовый балансировщик (сервис, который эмулирует SSAS, а потом прокидывает запрос в зависимости от плавающего окна нагрузки на конкретном экземпляре),

но думаю, ничего не мешает забабахать железный балансировщик на тех же принципах (только глянуть в спецификацию балансировщика)
25 май 18, 14:09    [21440278]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
vikkiv
Member

Откуда: London
Сообщений: 1652
Дедушка,

к стати NLB как раз в некотором роде создаёт лишную нагрузку (т.к. пакеты шлются ко всем нодам, просто остальные эти пакеты фильтруют) в сети.
В некоторых источниках прямым текстом так и говорится что NLB не балансирует ни CPU ни RAM нагрузку,
>>>>> .. NLB .. Unable to consider each servers current CPU load and RAM utilisation when distributing client load. .... <<<<
обычно есть некоторая корреляция при однотипности потока запросов, но в реальности корпоративная среда насыщена именно разнотипными запросами (с вовсе не плоским распределением между передачей данных {сети} и нагрузкой на Calculation Engine / Cache) и NLB по большому счёту для SSAS как мёртвому припарка (т.е. в некотором роде безполезен, процесс стохастический - полезность будет если вероятность типов запросов на одну ноду не сильно раличается). .. плюс например в конце месяца бухгалтерия кэширует одну группу мер, а логистика с продажами - совсем другие, ну и в результате балансировки будут активно чистить друг-другу кэш паралельно жалуясь IT что почему-то очень медленно работает...

Сам наблюдал как выделяли бюджеты на например на Failover Cluster системы просто от не понимая для чего это (надеясь что это магически что-то там решит с производительностью по советам заинтересованных "консультантов") - без необходимости (т.е. без совмещения целей и средств из-за пробела в знаниях).
25 май 18, 19:44    [21441615]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Max_11111
Member

Откуда:
Сообщений: 172
Дедушка
Max_11111
Можно ли настроить балансировку на NLB как 50/25/25?
да, изменением параметров узлов кластера.

vikkiv
Вроде это настройка "NLB Load Weight" (Port Rules)

Спасибо. Только после ваших ответов увидел эти настройки. Тупанул :)
28 май 18, 02:59    [21444989]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Max_11111
Member

Откуда:
Сообщений: 172
vikkiv
Но сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редко, в основном это во первых CPU, во вторых RAM/память (кэш), и только потом доступ к диску и сеть.

Для наших целей пока хватает NLB. Мощностей 1 сервера не хватает для обработки всех запросов, пришлось настраивать кластер на 2 серверах. В принципе нагрузка на них ложится примерно одинаково (мерим по количеству запросов и нагрузке на проц)
28 май 18, 03:41    [21444992]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Max_11111
Member

Откуда:
Сообщений: 172
Критик
Max_11111,

у нас софтовый балансировщик (сервис, который эмулирует SSAS, а потом прокидывает запрос в зависимости от плавающего окна нагрузки на конкретном экземпляре),

но думаю, ничего не мешает забабахать железный балансировщик на тех же принципах (только глянуть в спецификацию балансировщика)

А можно чуть подробнее про Ваш балансировщик? У нас тоже есть идея написать что-то своё для этого, но пока я не понимаю как из Excel (основной клиент пользователей) подключаться к SSAS через самописное приложение.
С NLB я, в принципе, представляю как это работает: Excel подключается по ip к кластеру, а тот ему подсовывает ip конкретного сервера.
Но вот по какому протоколу должен работать балансировщик, и какой порт прослушивать - этого я не знаю
28 май 18, 03:46    [21444993]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 30514
Блог
Max_11111
Но вот по какому протоколу должен работать балансировщик, и какой порт прослушивать - этого я не знаю


Это обычный сервис, который для всего остального ПО выглядит как SSAS (использует абсолютно те же порты и протоколы), только не обрабатывает запрос, а пробрасывает его дальше на сервер из его списка.

Написать с нуля будет довольно дорого, вам проще глянуть в сторону железных балансировщиков.
28 май 18, 15:20    [21447104]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Max_11111
Member

Откуда:
Сообщений: 172
Критик
Это обычный сервис, который для всего остального ПО выглядит как SSAS (использует абсолютно те же порты и протоколы), только не обрабатывает запрос, а пробрасывает его дальше на сервер из его списка.
Написать с нуля будет довольно дорого, вам проще глянуть в сторону железных балансировщиков.

Ваш балансировщик является коммерческой тайной, или Вы можете выложить его код в открытый доступ?
Можете привести примеры железных балансировщиков, а то я в этом не разбираюсь?
30 май 18, 02:13    [21452212]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3482
Max_11111
У нас развёрнут NLB кластер на 2 машины c одинаковыми характеристиками. OLAP развёрнут на MS SSAS 2012

У вас MOLAP ??? или ROLAP ?
30 май 18, 11:18    [21452921]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 30514
Блог
выложить, конечно, не могу,
железные я не применял, поэтому порекомендовать конкретную модель не могу, но вы можете обратиться в любой интегратор, думаю, не особо трудно получить их на тестирование
30 май 18, 11:29    [21453003]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Max_11111
Member

Откуда:
Сообщений: 172
Ivan Durak
У вас MOLAP ??? или ROLAP ?

MOLAP
30 май 18, 11:40    [21453067]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
fduch f.f.
Member

Откуда: Белокаменная
Сообщений: 260
Критик
выложить, конечно, не могу,
железные я не применял, поэтому порекомендовать конкретную модель не могу, но вы можете обратиться в любой интегратор, думаю, не особо трудно получить их на тестирование


можете хотябы дать направление куда копать чтобы написать такой балансировщик?
где взять описание интерефейсов? вы на .net писали?
31 май 18, 16:32    [21458197]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 30514
Блог
fduch f.f.,

на c# написан,
и не мной, а предыдущими поколениями наших сотрудников,

лично я бы не стал писать - уйдет реально куча времени, если уже не иметь отличных знаний, как работает Kerberos (для проброски логина) + не знать протоколы обмена,

подозреваю, что и на msdn не все описано, то есть это будет куча работы по трассировке,
оценочно несколько человекомесяцев
31 май 18, 16:40    [21458227]     Ответить | Цитировать Сообщить модератору
 Re: Масштабирование OLAP SSAS  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3482
Max_11111
Ivan Durak
У вас MOLAP ??? или ROLAP ?

MOLAP

их 2 полностью одинаковых?? которые процесятся одновременно?
1 июн 18, 18:38    [21462281]     Ответить | Цитировать Сообщить модератору
Все форумы / OLAP и DWH Ответить