Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Performance monitor  [new]
reamaz
Member

Откуда:
Сообщений: 9
И еще раз всем доброго времени суток!
Возникла проблема, следующего характера:
Есть некий сервер, на нем крутится БД MS SQL и ежедневно выполняется бекапирование по сети в датацентр по гигабитному каналу.
Случилось так, что скорость бекапирования резко возросла. Всегда бекап длился примерно 17-18 часов (700ГБ данных), и вдруг время его выполнения увеличилось до 26-27 часов. Объем самого бекапа не вырос.
У меня на руках есть показатели Perfmon'a за один из "хороших" дней мониторинга и два "плохих" дня.
Я сильной принципиальной разницы не увидел, но возможно я что-то упускаю.
Прошу опытных ребят взглянуть одним глазом, может проблема на поверхности.

p.s. Базы находятся на диске D: (RAID 5, 6 HDD). Бекап идет по сети, сеть гигабитная, со стороны датацентра проблем с приемом нет.
если нужны какие-нибудь дополнительные счетчики, дополнительные данные - напишите, озвучу.

хороший perfmon: https://drive.google.com/open?id=12GnpuHjYN_cNtK3s-RbSs4ivkfZqkwsY
плохой perfmion #1: https://drive.google.com/open?id=1GukCACicnq4IVC61A572suEibxHYfCOC
плохой perfmoin #2: https://drive.google.com/open?id=1Zm1AE7RevXEzVuvgiT0-gafVPBDHGJ4F
15 дек 17, 12:59    [21036581]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
rahzer
Member

Откуда:
Сообщений: 2291
Что-то у Вас с дисковой подсистемой случилось..
Посмотрите все ли нормально с массивами (нет ли ребилдов активных), состояние контроллера
15 дек 17, 13:20    [21036674]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
adth
Guest
нужно измерять ширину канала в конкретное время

http://netwild.ru/iperf/

https://blogs.oracle.com/mandalika/measuring-network-bandwidth-using-iperf
Measuring Network Bandwidth Using iperf
15 дек 17, 13:21    [21036678]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31355
reamaz
Есть некий сервер, на нем крутится БД MS SQL и ежедневно выполняется бекапирование по сети в датацентр по гигабитному каналу.
А что там за пики раз в 4 часа?
Бакап полный или какой то ещё?
На первом перфмоне когда был бакап, от и до?
15 дек 17, 14:16    [21036895]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31355
reamaz
Всегда бекап длился примерно 17-18 часов (700ГБ данных), и вдруг время его выполнения увеличилось до 26-27 часов. Объем самого бекапа не вырос.
Легко подсчитать, что для гигабитной сети (36 ГБ/час) 18 часов - это очень быстро.
Какая то дополнительная нагрузка сети - и время увеличивается.

rahzer
Что-то у Вас с дисковой подсистемой случилось
Уж скорее с сетью, гигабит не так много.
Впрочем, возможно всякое, может, рэйд деградировал?
15 дек 17, 14:20    [21036912]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
reamaz
Member

Откуда:
Сообщений: 9
Спасибо всем поучавствовавшим!
В ближайшее время постараюсь ответить на вопросы.

"Легко подсчитать, что для гигабитной сети (36 ГБ/час) 18 часов - это очень быстро."
Я может немного недопонимаю, но вроде 1Гбит/сек = 125Мб/сек ? итого 1 час = 125*60*60 = 450Гбайт/час
15 дек 17, 14:38    [21036989]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6801
alexeyvg,

автор
для гигабитной сети (36 ГБ/час)

а сколько у вас секунд в час?
15 дек 17, 14:42    [21037008]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
Alexander Us
Member

Откуда:
Сообщений: 1130
reamaz,

к сожалению не могу посмлтреть Ваши картинки.

Но проверьте, вдруг кто то поставил в плане обслуживания галочку "проверить бэкап".
Это как раз и даст увеличение времени в 1,5 - 2 раза.
15 дек 17, 14:47    [21037032]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
rahzer
Member

Откуда:
Сообщений: 2291
Как вариант, может добавили или сместили какие-либо регламентные задания (проверка антивирусов, проверка дисковой подсистемы и т.п.), может кто-то свои данные так же стал бэкапить по тому же каналу..
15 дек 17, 14:58    [21037091]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
reamaz
Member

Откуда:
Сообщений: 9
alexeyvg,

"А что там за пики раз в 4 часа?"
Бекапы логов (~100GB)
15 дек 17, 15:01    [21037100]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31355
TaPaK
alexeyvg,

автор
для гигабитной сети (36 ГБ/час)

а сколько у вас секунд в час?
3600, я землянин. А что?
3600 гигабит = 360 гигабайт
Мда, ошибся :-(
Что то медленно тогда
Тогда диски тормозят, 10 мбайт/сек, получается?
15 дек 17, 17:20    [21037794]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
reamaz
Member

Откуда:
Сообщений: 9
2rahzer - проверил рейд и контроллер - все в состоянии ОК

Сейчас уточнил - есть дни, в которые этот бекап выполняется по 40+ часов.
Вроде бы 700ГБ - не настолько много.
Один нюанс: в течение дня делается полный бекап (о котором мы сейчас говорим), дополнительно, каждые 4 часа делаются бекапы журналов. Не могут эти два бекапа мешать выполнению друг друга?
15 дек 17, 17:23    [21037807]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
Yasha123
Member

Откуда:
Сообщений: 1833
reamaz
Не могут эти два бекапа мешать выполнению друг друга?

им друг на друга вообще наплевать.
единственное, когда идет полный/дифф бэкап,
параллельно идущий бэкап лога не сможет транкейтить лог.
но это уже разница для самого лога, а не для его бэкапа
15 дек 17, 17:34    [21037850]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31355
reamaz
2rahzer - проверил рейд и контроллер - все в состоянии ОК
А ресурс монитор что показывает, какие очереди у дисков бакапа и базы, какая ожидания и скорость записи в файл бакапов, ожидания и чтения из файлов базы?
15 дек 17, 18:19    [21037947]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
Alexander Us
Member

Откуда:
Сообщений: 1130
reamaz,

а галка "проверить бэкап" в плане обслуживания установлена?
15 дек 17, 18:27    [21037972]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
reamaz
Member

Откуда:
Сообщений: 9
Alexander Us,
Пользуемся скриптами, вручную загнанными в Job.
Кусок скрипта, отвечающий за бекап:
BACKUP DATABASE [DBNAME] TO DISK = @path
	WITH FORMAT
		,INIT
		,STATS = 100

Собственно, никаких проверок нет.

alexeyvg,
Только сейчас подключаем в perfmon счетчики SQL.
Не подскажите, в каких разделах находятся указанные счетчики?
SQLServer:Databases?
Ну и, собственно, какие показатели Performance monitor лучше подключить в нашем случае?
19 дек 17, 13:58    [21045496]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31355
reamaz
alexeyvg,
Только сейчас подключаем в perfmon счетчики SQL.
Не подскажите, в каких разделах находятся указанные счетчики?
SQLServer:Databases?
Ну и, собственно, какие показатели Performance monitor лучше подключить в нашем случае?
Не, я говорил про ресурс монитор. Там сразу одним взглядом видна ситуация - очереди, задержки, см вкладку "Диск".
19 дек 17, 15:53    [21046055]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
reamaz
Member

Откуда:
Сообщений: 9
Выявилась проблема с дисковой подсистемой.
При тесте КристалМарком выявились сильные тормоза при создании файла для теста (к примеру, выбираем тест 8ГБ файлом, и он создается 8,5 минут).
Сейчас копаемся в настройках рейда, пока безуспешно.
Не совсем понятно, является ли это корнем нашей проблемы, ведь при бекапе нужна не запись, а чтение.

В связи с этим, уточнение: При бекапе базы "по сети" - каким образом SQL-сервер отправляет данные? Сначала ложит их куда то в кэш на диск или отправляет напрямую (из RAM, например)? Если создается временный файл на диске - тогда понятно, что нас тормозит.

Если нет простого ответа - дайте, плз статьи, подучу немного (гугл сходу не помог).
20 дек 17, 12:37    [21048308]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
adth
Guest
https://docs.microsoft.com/en-us/sysinternals/downloads/procmon

Process Monitor is an advanced monitoring tool for Windows that shows real-time file system, Registry and process/thread activity.
20 дек 17, 12:49    [21048348]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31355
reamaz
тогда понятно, что нас тормозит.
Что вы всё гадаете, посмотрите уже, есть проблемы с дисковой системой или нет. Какой таймаут операции? Какая очередь к дискам? Есть пики, или оно присутствует постоянно?
20 дек 17, 12:51    [21048353]     Ответить | Цитировать Сообщить модератору
 Re: Performance monitor  [new]
rahzer
Member

Откуда:
Сообщений: 2291
Если у вас используется тиринг или SSD кэширование, то посмотрите, м.б данные переползли на более медленные диски или SSD кэш отключили..
Вобщем, надо сравнить та ли конфигурация железа до проблем и во время их возникновения.
20 дек 17, 12:56    [21048369]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить