Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
voix_kas
Member

Откуда:
Сообщений: 73
 		Всем привет.

Дано:
    Программно-аппаратный стэк:
  • 2x2620v4, 64Gb DDR4, RAID1 2*250Gb SSD (system), RAID10 10*4Tb HDD SATA 7200 (data);
  • второй массив собран с размером страйпа 64Кб, отформатирован под GPT/NTFS/64Kb;
  • ОС - Windows Server 2016 (отключены файл подкачки и гипернация);
  • СУБД - SQL Server 2016 SP1 Developer.
    Данные:
  • более 10 тысяч баз (mdf|ndf|ldf) разного размера (единицы мегабайт - десятки гигабайт);
  • общий объём - более 10Тб;
  • схема всех баз данных одинаковая;
  • уровень совместимости - 100 (SQL Server 2008).
Почему выбран такой подход в структурировании данных - вопрос прошлого, других людей.
Что есть, с тем приходится работать. По-крайней мере, пока так.

Цель всего этого хозяйства - полнотекстовый поиск по архивам.
Т.е. фактически, данные только читаются, без записи.

Необходимо достичь следующих целей:
1. Максимальная скорость подключения всех баз (например, при разворачивании резервного поискового сервера).
2. Максимальная скорость полнотекстового поиска.

Просьба к сообществу поделиться мыслями по оптимизации:
1. Тюнинг ОС и аппаратной части.
2. Тюнинг СУБД при подключении баз. Какие режимы/флаги/настройки использовать, чтобы достичь максимально быстрого подключения баз?
3. Тюнинг СУБД при поиске в базах.

Понимаю, что вопросы имеют слишком широкий охват. На данной итерации хотелось бы услышать пусть и общие/сырые мысли. В дальнейшем буду уточнять (по ходу "заточки").
11 июл 17, 11:28    [20632395]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
WarAnt
Member

Откуда: Питер
Сообщений: 2421
 		voix_kas,

помоему, тут надо делать тюнинг структуры\архитектуры
все остальное, это костыли из зубочисток
11 июл 17, 12:02    [20632612]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6801
 		voix_kas,
автор
уровень совместимости - 100 (SQL Server 2008).

автор
СУБД - SQL Server 2016 SP1 Developer.

а смысл?

зы на сервер денег хватила на скл неть :(
11 июл 17, 12:07    [20632629]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
Неавтор
Guest
voix_kas
RAID10 10*4Tb HDD SATA 7200 (data);
второй массив собран с размером страйпа 64Кб, отформатирован под GPT/NTFS/64Kb;


Короткий страйп для аппаратных массивов на HDD SATA - бессмысленное действо. Оставляйте "по умолчанию", обычно 256 Кб. Оно не просто так.

Поди, и tempdb на HDD SATA? Перенесите на SSD. Или SSD, можно предположить, десктопные с никаким TBW/DWPD?

Если средства есть, то и данные на SSD, на массивах RAID6. Раз у вас в основном на чтение, то данные могут быть на низкоресурсных SSD.

Оперативной памяти объем увеличьте. Хотя, без мониторинга это совет совсем общий.

автор
СУБД - SQL Server 2016 SP1 Developer.

Очень трогательное упоминание при использовании в производстве. Зачем позориться по собственной инициативе?
11 июл 17, 13:00    [20632925]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
voix_kas
Member

Откуда:
Сообщений: 73
 		Неавтор,

По размеру страйпа - ок, поэкспериментирую.
tempdb расположена на ссд.
Оперативку до 128Гб планирую увеличить.

Но это аппаратная составляющая.
Можете подсказать что-нибудь по ОС/СУБД?


На счёт девелопер версии - не понимаю, в чём позор?
Это реально сервер разработки/отладки, продакшн на других серверах.
11 июл 17, 13:40    [20633114]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
voix_kas
Member

Откуда:
Сообщений: 73
 		По части вопроса "2. Тюнинг СУБД при подключении баз. Какие режимы/флаги/настройки использовать, чтобы достичь максимально быстрого подключения баз?"
Может, стоит перевести экземпляр СУБД в какой-то специфический режим?
Или изначально подключать файлы, у которых в атрибутах установлено рид-онли?
Буду признателен за любые релевантные идеи.
11 июл 17, 13:59    [20633227]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7746
 		voix_kas,

если у вас будет на такой машине 10000 и одно ядро умноженное на количество активных пользователей, тогда будет все ОК и вы подготовлены к самому страшному. :D
11 июл 17, 13:59    [20633228]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6801
voix_kas
По части вопроса "2. Тюнинг СУБД при подключении баз. Какие режимы/флаги/настройки использовать, чтобы достичь максимально быстрого подключения баз?"
Может, стоит перевести экземпляр СУБД в какой-то специфический режим?
Или изначально подключать файлы, у которых в атрибутах установлено рид-онли?
Буду признателен за любые релевантные идеи.

идея один: уровень совместимости - 100 (SQL Server 2008). зачем?
11 июл 17, 14:10    [20633278]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31355
voix_kas
По части вопроса "2. Тюнинг СУБД при подключении баз. Какие режимы/флаги/настройки использовать, чтобы достичь максимально быстрого подключения баз?"
Может, стоит перевести экземпляр СУБД в какой-то специфический режим?
Или изначально подключать файлы, у которых в атрибутах установлено рид-онли?
Буду признателен за любые релевантные идеи.
Имеется в виду аттач базы?
Да какой там режим...
Просто нужно побыстрее диски.
11 июл 17, 14:15    [20633301]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
invm
Member

Откуда: Москва
Сообщений: 9343
voix_kas
Максимальная скорость подключения всех баз (например, при разворачивании резервного поискового сервера).
Подключить БД к серверу - не просто файлы скопировать. Быстро не будет.
voix_kas
Максимальная скорость полнотекстового поиска.
Полнотекстовый запрос к 10000 БД по сути эквивалентен 10000 полнотекстовым запросам (по одному к каждой БД). Быстро не будет.
Более того, в общем случае, при 10 Тб данных и 64 Гб ОЗУ быстро не будет даже с SSD.

Хотите быстро - меняйте архитектуру.
11 июл 17, 16:05    [20634138]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация (тюнинг системы) для работы с большим количеством баз в одном экземпляре СУБД  [new]
архивариус
Member

Откуда:
Сообщений: 150
 		если правильно вангую продукт то там 10000 баз :
городA_2009, городА_2011,городА_2012part1,городА_2012part2,...
,городБ_2011,...
и т.д.

обновление делается добавлением сотни-другой баз раз в квартал

поиск должен прошерстить все базы
11 июл 17, 17:34    [20634424]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить