Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5   вперед  Ctrl      все
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
Подскажите, как узнать какие запросы ожидают выполнения в момент checkpoint?
7 фев 12, 21:01    [12050236]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
iljy
Member

Откуда:
Сообщений: 8711
white_satan
1 БД не помещается целиком в памяти. я выделил серверу динамическую память от 2 до 4 Г, но от забирает 1.7 и больше не берет?
2 У нас много разных запросов к одной(нескольким) таблицам. не будем мы же создавать для каждого запроса индексы. все равно есть запросы где нужно просматривать таблицу. как найти компромис? Много запросов с between по дате.

1. Чем смотрите, сколько берет сервер? Какая редакция сервера? Разрядность? Включено ли PAE?
2. Любой индекс- это компромисс между скорость выборки и скоростью изменения. Вот и ищите. Если много запросов по дате, то, возможно, есть смысл сделать кластерный индекс по дате. Но это так, пальцем в небо, надо смотреть характерную нагрузку.
white_satan
Нет ли механизма, при котором бы checkpoint не загружал диск на 100%..ну например часть данных записал, дал возможность прочитать данные...

Вы знаете, что такое checkpoint?
white_satan
и еще вопрос. sql server держит индексы в памяти?

Сервер держит часто используемые данные, вытесняя неизпользуемые по мере заполнения кеша .
7 фев 12, 21:03    [12050245]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
Crimean
Member

Откуда:
Сообщений: 13147
white_satan
и еще вопрос. sql server держит индексы в памяти?



он вообще-то все (по возможности!) держит в памяти
только у вас sql 2000, а это значит он максимум 3 гига обычной памяти получит
остальное - через awe и там он далеко не все может держать и не так эффективно
да и версейка на самая свежая. насколько я за ним не слежу, но у меня тестовый билд 8.00.2282
редакция сиквела какая? std / ent?
озу сколько?
как настроено? pae / 3gb? или тонкие настройки?
сколько озу сиквелу отдано?

с вашим характером работы я бы такие "раздербаненые" таблицы повыносил в отдельные файлгруппы
и - да - ФФ бы поставить 100% для пробы, можно это совместить с переносом "рабочих" таблиц в свои файлгруппы
хуже вряд ли станет, впрочем вы это увидите по картине ожиданий на модификации данных а вот лучше стать очень может
7 фев 12, 21:04    [12050253]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
Гавриленко Сергей Алексеевич
white_satan
и еще вопрос. sql server держит индексы в памяти?
Страницы индексов в этом плане ничем не отличаются от страниц данных. Имеет смысл - держит.

т.е. в момент checkpoint сервер также пычается читать индекс из базы если его нет в памяти?
т.е. получается мне нужно ускорить выполнение checkpoint
7 фев 12, 21:04    [12050260]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
1. Чем смотрите, сколько берет сервер? Какая редакция сервера? Разрядность? Включено ли PAE?
2. Любой индекс- это компромисс между скорость выборки и скоростью изменения. Вот и ищите. Если много запросов по дате, то, возможно, есть смысл сделать кластерный индекс по дате. Но это так, пальцем в небо, надо смотреть характерную нагрузку.

1. Диспетчером задач. 2000 SP4 build 2055. x86. PAE это что?
2.ок, будем анализировать
7 фев 12, 21:08    [12050274]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
iljy
Member

Откуда:
Сообщений: 8711
white_satan
1. Диспетчером задач. 2000 SP4 build 2055. x86. PAE это что?

Диспетчер некорректно показывает выделение памяти для скуля. Смотрите счетчики в Performance Monitor.
PAE- Physical Adress Extension.
Редакция - это тайна?
7 фев 12, 21:10    [12050293]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
Crimean
редакция сиквела какая? std / ent?
озу сколько?
как настроено? pae / 3gb? или тонкие настройки?
сколько озу сиквелу отдано?


2000 SP4 build 2055 enterprise, но взломан sqlboot.dll до std
Pae/3gb это как? поясните плиз
Всего 4 Гб в системе, отдано от 2 до 4 динамически
7 фев 12, 21:12    [12050310]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
Всего 4 Гб в системе, отдано от 2 до 4 динамически
что лучше?

1 Boot.ini ключ /PAE
2 Boot.ini ключ /3GB
7 фев 12, 21:16    [12050336]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
Crimean
Member

Откуда:
Сообщений: 13147
> enterprise, но взломан sqlboot.dll до std

эээ.... на этом месте завис

> Pae/3gb это как? поясните плиз

это опции загрузки ОС однако....

> Всего 4 Гб в системе, отдано от 2 до 4 динамически

дык просто так он больше 2 и не возьмет

собственно базу в порядок приведите для начала. "рабочие" таблицы - по отдельным файлгруппам, филфактор к 100%. есть подозрение что на этом этапе должно получшать. ибо в одной большой файлгруппе с вашим режимом работы будет неприятная для сервера каша - какаша
7 фев 12, 21:17    [12050340]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
Crimean
"рабочие" таблицы - по отдельным файлгруппам

т.е. есть 4 "больших" таблицы. их вместе вынести в отдельную ФГ, или каждую таблицу в отдельную ФГ?
7 фев 12, 21:20    [12050357]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
Crimean
Member

Откуда:
Сообщений: 13147
white_satan,

каждую таблицу - в свою ФГ. а вот делать ФГ из 1 файла или из нескольких - вопрос. и откладывать индексы еще более отдельно или нет - второй вопрос. я бы постепенно делал. сначала +4 ФГ и в них - по таблице. и посмотреть что изменится в поведении. смотреть на ожидания в sysprocesses и на состояние сервера (дисковая подсистема в первую очередь: трансфер, очереди)
7 фев 12, 21:31    [12050412]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
Crimean
white_satan,

каждую таблицу - в свою ФГ. а вот делать ФГ из 1 файла или из нескольких - вопрос. и откладывать индексы еще более отдельно или нет - второй вопрос. я бы постепенно делал. сначала +4 ФГ и в них - по таблице. и посмотреть что изменится в поведении. смотреть на ожидания в sysprocesses и на состояние сервера (дисковая подсистема в первую очередь: трансфер, очереди)

Огромное спасибо. сейчас приступлю к изменениям. о результатах напишу.
подскажите на последок, что лучше
1 Boot.ini ключ /PAE
2 Boot.ini ключ /3GB
7 фев 12, 21:35    [12050432]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
Crimean
Member

Откуда:
Сообщений: 13147
по этому поводу ну очень много на этом форуме. просто в поиск )
7 фев 12, 23:33    [12050953]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
tpg
Member

Откуда: Novosibirsk
Сообщений: 23902
white_satan
...подскажите на последок, что лучше
1 Boot.ini ключ /PAE
2 Boot.ini ключ /3GB

https://www.sql.ru/articles/mssql/2005/101905InsideSQLServer2000sMemoryManagementFacilities.shtml
8 фев 12, 06:22    [12051414]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
итак...
Было создано 4 файловых группы (FG1-FG4)
Перенес "рабочие" таблицы вместе с индексами в соответствующие группы.
после переноса
Logical Scan Fragmentation и Extent Scan Fragmentation не превышали 2%

После 8 часов работы
8 фев 12, 09:59    [12051797]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
фрагментация выгосла до 15-20%.
fillfactor 100% у всех индексов
8 фев 12, 10:00    [12051803]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
После перемещения таблиц в ФГ немного выросла скорость записи при checkpoint (7МБ).
Но прошло 8 часов и все по-новой. (5МБ). Сейчас снова тупняки при checkpoint-ах и сам checkpoint длится 7-10 сек (((
8 фев 12, 10:07    [12051820]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
результат select * from master.dbo.sysprocesses в момент checkpoint

К сообщению приложен файл. Размер - 25Kb
8 фев 12, 10:36    [12051940]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
WarAnt
Member

Откуда: Питер
Сообщений: 2423
white_satan
После перемещения таблиц в ФГ немного выросла скорость записи при checkpoint (7МБ).
Но прошло 8 часов и все по-новой. (5МБ). Сейчас снова тупняки при checkpoint-ах и сам checkpoint длится 7-10 сек (((


Надо настравивать переодические задачи по реиндексации самых фрагментируемых таблиц, плюс статистику обновлять плюс как временное решение делать чекпоинт чаще чем делает сервер.

ну и посмотреть все таки счетчики производительности, например очереди на чтение и на запись при чекпоинте, может обнаружите где узкое место так как скорость просто так не может падать в 10 раз.
8 фев 12, 10:38    [12051951]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61

Надо настравивать переодические задачи по реиндексации самых фрагментируемых таблиц, плюс статистику обновлять плюс как временное решение делать чекпоинт чаще чем делает сервер.

ну и посмотреть все таки счетчики производительности, например очереди на чтение и на запись при чекпоинте, может обнаружите где узкое место так как скорость просто так не может падать в 10 раз.



1. Задачи уже разрабатываю..
2 счетчики производительности (в момент checkpoint):
- Скорость записи на диск (~ 5000000 байт/сек)
- Скорость чтения с диска (~ 100000 байт/сек)
- % активности диска (30000-40000)
- Pages writes/sec (~ 600)


Как видно из рисунка, в момент checkpoint запись 100% чтение резко падает

К сообщению приложен файл. Размер - 18Kb
8 фев 12, 10:55    [12052080]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
WarAnt
Member

Откуда: Питер
Сообщений: 2423
white_satan,

дак а где счетчики очередей на чтение и запись?
8 фев 12, 11:10    [12052182]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
white_satan
Member

Откуда:
Сообщений: 61
WarAnt
white_satan,

дак а где счетчики очередей на чтение и запись?


Средняя длина очереди записи на диск (сред.42 максимум 377)
Средняя длина очереди чтения диска (сред.2,3 максимум 30,3)

К сообщению приложен файл. Размер - 21Kb
8 фев 12, 11:16    [12052229]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
WarAnt
Member

Откуда: Питер
Сообщений: 2423
white_satan
WarAnt
white_satan,

дак а где счетчики очередей на чтение и запись?


Средняя длина очереди записи на диск (сред.42 максимум 377)
Средняя длина очереди чтения диска (сред.2,3 максимум 30,3)


значит никаких подводных ожиданий чтения страниц перед записью нету, банальная нехватка производительности диска на запись, 42 в среднем, это можно сказать вобще не справляется с нагрузкой.
Ускоряйте дисковую подсистему это единственный вариант, либо пересматривайте архитектуру базы в сторону оптимизации движения данных.
8 фев 12, 11:43    [12052455]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
Crimean
Member

Откуда:
Сообщений: 13147
дополнительно - поднимите порог паралилизма
8 фев 12, 11:50    [12052533]     Ответить | Цитировать Сообщить модератору
 Re: Падение производительности при checkpoint  [new]
Crimean
Member

Откуда:
Сообщений: 13147
а у вас кеширование записи вообще включено?
8 фев 12, 12:05    [12052682]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить