Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Собственно, предыстория. Создали продукт который легко может применять технологию Resource governor для любого приложения. При этом неважно двухзвенка или трехзвенка ИТ система. Одна из возможностей выделять гарантированное количество ресурсов для OLTP нагрузки(например по принципу явно открываемых транзакций).
Но возникла проблема. Не для все систем данная технологи работает эффективно. Эффект есть но не очень существенный. К примеру хотелось бы без Resource governor при высокой нагрузке создать увеличение времени транзакций(некие OLTP запросы и минимум изменений) в разы а с ним на десятки процентов. Пока не получается это реализовать. Помогите с нагрузочными тестами. Готов отблагодарить!
4 авг 15, 19:35    [17975434]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Ну может просто идеи какие ни будь есть? Например какое количество потоков должно быть для "OLAP" составляющей? Какого типа должны быть OLTP запросы? Может еще какая то специфика? Приведу пример, например математические функции идут в общий пул ресурсов - соответственно если ими делать фоновую загрузку и ограничивать ее(выделяя под OLTP) - никакого эффекта не будет. На англоязычных ресурсов ничего подобного не нашел.(в смысле примеры нагрузочных тестов, в цикле получение newid не в счет) Такое впечатление что вообще никто технологией Resource governor не пользуется.
5 авг 15, 10:45    [17977336]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 8350
Это все от лукавого, все равно что втроем сидеть на одном стуле. Надо для репортинга и OLAP поднимать отдельные серверы.
5 авг 15, 11:09    [17977518]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Ну OLAP я назвал условно. Просто есть OLTP нагрузка в которой возможна эскалация блокировок и т.п., есть VIP пользователи и есть все остальное(назовем OLAP). Предположим у сервера 80 ядер и средняя нагрузка ЦПУ менее 30%. Но бывают моменты пиковых нагрузок для которых данная технология была бы важна.
5 авг 15, 11:38    [17977681]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 8350
Лично я задавался этим вопросом, но практика показывает, что загрузить даже 40 ядер среднее приложение типа продаж-покупок с веб-сервисами (~2000 пользователей) не в состоянии. Не та рабочая нагрузка.
5 авг 15, 15:12    [17978978]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Я подобные случаи видел, причем достаточно часто.(у многих клиентов стоит наш мониторинг, который мы просматриваем на регулярной основе, в качестве поддержки) Конечно это не постоянная нагрузка а пиковая которая может длиться 20 мин(два раза в день), но в этот момент могут происходить эскалации блокировок и массовые таймауты.
Напишу письмо в Microsoft. может они чего подскажут.(надеюсь будут не синтетические тесты типа вычисления скалярной функции в цикле)
5 авг 15, 15:59    [17979375]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 8350
МуМу, замечу, про плохую архитектуру хорошим менеджером ресурсов не исправить :)
5 авг 15, 16:13    [17979483]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Ну так на плохой архитектуре и зарабатываем:) Разработали кластер на MSSQL который позволяет разделить OLTP и OLAP(по разным серверам), может определять на лету нужное количество MAXDOP для запросов. Но в рамках одного сервера разделить VIP поток и все остальное возможности нет. Да и два(или более) сервера архитектурно(сервера нынче по полгода идут) долго внедряются.
Вообщем загадочная технология. Интересно у кого ни будь вообще внедрялась?
Эффект конечно присутствует, но пока маловат. На рабочих системах как то боязно сходу внедрять. Видимо есть какая то специфика на которой существует значительный эффект.
5 авг 15, 16:27    [17979629]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 8350
Думаю, что это какие-то системы квазиреального времени...
5 авг 15, 17:30    [17980043]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
Mind
Member

Откуда: Лучший город на Земле
Сообщений: 2322
МуМу,

А какая вообще связь между эскалацией блокировок и Resource governor?
5 авг 15, 22:34    [17981332]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
Mind
Member

Откуда: Лучший город на Земле
Сообщений: 2322
МуМу
может определять на лету нужное количество MAXDOP для запросов.
Интересно, каким же образом?
5 авг 15, 22:39    [17981344]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Управляем уровнем параллелизма с помощью системы мониторинга и некой прокси через которую идет поток обращений к MSSQL. (http://www.softpoint.ru/data-cluster-basi-dannih-sql-server) . А под эскалацией имел ввиду несколько более общее понятие(не эскалацию табличной блокировки), когда в конкурентной oltp системе существенно увеличивается время транзакций то резко начинают возникать деревья блокировок, область блокировок растет нелинейно как результат многие пользователи отваливаются по таймауту. При повторных попытках происходит схожий результат.
6 авг 15, 14:38    [17984290]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Собственно говоря в моих тестах с помощью фоновой нагрузки я добивался того что время транзакций существенно увеличивалось (в 4 раза). С помощью Resource governor я расчитывал получить увеличение на 20 % а получил 300%(не 400% но все равно много). То есть влияние было минимальным. Что то видимо в тестах не учитываю. (диск не является узким местом)
6 авг 15, 14:41    [17984305]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Ура!!! Заработало!!! :)
Оказалось как всегда человеческий фактор. Несмотря на то что я говорил нашему разработчику что нужно проверять на большом количестве потоков(хотя бы 50), он делал нагрузку в 4-х сессиях включая параллелизм. Разумеется эффекта не было. Сейчас некогда, распишу дальше результаты и что делали.
11 авг 15, 16:48    [18004287]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Может кому интересно будет.
http://www.softpointplus.ru/novosti-it-system/851.html
Сражу отмечу что более интересные результаты получаются если использовать NUMA архитектуру.(на уровне соединения привязываться к конкретным NUMA узлам) но это материалы отдельной статьи.
5 сен 15, 12:01    [18112445]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
SQL2008
Member

Откуда: Москва
Сообщений: 4406
МуМу, спасибо!
Очень интересная статья.
7 сен 15, 09:50    [18117072]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Если кто хочет перепроверить на своем оборудовании то велком. Скрипты и программу можем передать в обмен на результаты тестов. Скрипты позволяют выполнять тесты автоматизированно, то есть задается матрица входных параметров и тесты выполняются автоматом с нужными входными параметрами(количество потоков, текст скрипта, интенсивностоь и т.п.)
7 сен 15, 12:22    [18117893]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
Mind
Member

Откуда: Лучший город на Земле
Сообщений: 2322
МуМу,

А в чем смысл динамического изменения настроек RG? Если нужно чтобы второстепенные запросы не использовали больше чем, скажем 20% CPU, то что изменится в момент пиковых/не пиковых нагрузок, что придется на лету менять настройки RG?

И перестаньте уже использовать термин "эскалация блокировок", в том смысле, в котором вы его используете (blocking chain). Простите, но компания, которая продает какой то продукт должна знать терминологию предметной области, иначе доверие как к компании, так и к продукту, как-то сразу теряется.
9 сен 15, 21:44    [18130294]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Термин, абсолютно правильный.Вы патенты или бренды регистрировали? Можно успокоится и сказать - "эскалация блокировок", "взрывной рост" и т.п. (Проведите нагрузочные тесты.) Мне кажется это устойчивое словосочетание. Что такое термин "эскалация блокировок" из MSDN я знаю. Но мне кажется слово "эскалация" - нельзя брендировать.
10 сен 15, 01:40    [18130740]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
Я к чему - Скрипты открытые, и код приложения открыт(си-шарп помоему) Мне самому интересны результаты. Давайте все вместе проверим результаты, либо обсудим что в экспериментах неправильно было. Как указано в статье многое зависит от архитектуры.(сервера у всех разные). А по факту как выяснилось от NUMA архитектуры многое влияет. Хотите фактов?, давайте вместе исследовать!
10 сен 15, 01:52    [18130747]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
Relic Hunter
Member

Откуда: AB
Сообщений: 7482
Теперь этот RM CPU будет жевать, вместо полезной нагрузки. Очередной Battery Saver )))
10 сен 15, 02:10    [18130749]     Ответить | Цитировать Сообщить модератору
 Re: Resource governor, область применения. Где бы найти показательные нагрузочные тесты?  [new]
МуМу
Member

Откуда:
Сообщений: 1134
А это вопрос интересный. Жевать, или пахать... Все зависит от спектра нагрузки. Нагрузочные тесты всех рассудят. Разумеется об экономии энергии здесь речи никакой не ведется. За эту опцию включенную по умолчанию я бы при продаже от крупных интеграторов, при условии высоконагруженных OLTP(озвученных интегратору) систем привлекал бы к суду.
10 сен 15, 02:19    [18130754]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить