Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Firebird, InterBase Новый топик    Ответить
 Проблема с производительностью базы  [new]
firemn
Member

Откуда:
Сообщений: 4
Здравствуйте.

Помогите, пожалуйста, найти причину "затыка" базы.
Каждые 5 минут, база "замирает" - запросы подвисают, но не отваливаются, новые коннекты не подключаются и не отпадают с ошибкой. При этом активности на сервере нет - все ядра используют 0,1%, сетевая\дисковая активность - под 0. Через 1-1,5 минуты все ядра\диски начинают активно работать как и сама база - зависшие запросы, новые коннекты - развисают.
fb_lock_print -h показал большое кол-во Deadlock scans, тут на форуме прочитал что это может вызывать частое обращения к таблицам мониторинга. Был триггер на коннекте, который лазил в таблицу mon$attachments, его отключили. Ситуация с deadlock scans не изменилась. Похоже симптомы поведения базы описаны CORE-3787, откатились на версию 2.5.6 - проблема осталась. :(

Linux, Firebird Classic 2.5.6 x86 (откатились с 2.5.7 проблема осталась) Размер базы: 310GB. CPU: 16 ядер, Mem: 32GB. около 200-300 одновременных коннектов к базе.

firebird.conf
+

DefaultDbCachePages = 1024
TempBlockSize = 2097152
TempCacheLimit = 536870912
LockMemSize = 67108864
LockHashSlots = 30011


fb_lock_print -h
+

LOCK_HEADER BLOCK
Version: 17, Active owner: 0, Length: 67108864, Used: 19963784
Flags: 0x0001
Enqs: 21316962, Converts: 106998, Rejects: 29956, Blocks: 41118
Deadlock scans: 16950, Deadlocks: 0, Scan interval: 10
Acquires: 26067878, Acquire blocks: 2020423, Spin count: 0
Mutex wait: 7.8%
Hash slots: 30011, Hash lengths (min/avg/max): 0/ 1/ 9
Remove node: 0, Insert queue: 0, Insert prior: 0
Owners (174): forward: 487352, backward: 11780228
Free owners (157): forward: 11769300, backward: 955512
Free locks (5634): forward: 11623412, backward: 10126092
Free requests (89469): forward: 3174308, backward: 19506404
Lock Ordering: Enabled
11 сен 17, 13:58    [20786760]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Шавлюк Евгений
Member

Откуда: Одесса
Сообщений: 341
firemn,

А обращений к MON$ таблицам раз в 5 минут нет?
11 сен 17, 13:59    [20786764]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 57316
firemn> Каждые 5 минут, база "замирает"

Трассировку делать пробовали?
Перед зависанием что видно?

Posted via ActualForum NNTP Server 1.5

11 сен 17, 14:17    [20786836]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
firemn
Member

Откуда:
Сообщений: 4
Шавлюк Евгений,

Нет, уже нет. Были обращения при каждом коннекте и жили с этим без проблем достаточно давно - сейчас отключили.
11 сен 17, 14:19    [20786842]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
hvlad
Member

Откуда:
Сообщений: 9234
В момент зависания
- снимите дамп лок-таблицы (fb_lock_print -a -c)
- снимите бектрейсы с нескольких процессов fb_inet_server (gdb и .debug в помощь)
11 сен 17, 14:25    [20786874]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 7684
firemn
Размер базы: 310GB. CPU: 16 ядер, Mem: 32GB. около 200-300 одновременных коннектов к базе.
Как по мне, так явный перекос - памяти очень мало, я бы увеличил раза в 4 как минимум.
11 сен 17, 14:29    [20786901]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Старый плюшевый мишка
Member

Откуда:
Сообщений: 206
Ivan_Pisarevsky
firemn
Размер базы: 310GB. CPU: 16 ядер, Mem: 32GB. около 200-300 одновременных коннектов к базе.
Как по мне, так явный перекос - памяти очень мало, я бы увеличил раза в 4 как минимум.


Старый добрый CS потянул бы и не поморщился на этой памяти. А вот что там насчёт ядер в 2.5 - я не знаю. По-моему проблема всё-таки между проводами и байтами в оси. Но это не точно (С).
11 сен 17, 16:30    [20787537]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 7287
Старый плюшевый мишка,

с точностью до наоборот новый супер потянет не поморщась, а вот с CS могут быть проблемы
11 сен 17, 16:54    [20787664]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Старый плюшевый мишка
Member

Откуда:
Сообщений: 206
Симонов Денис
Старый плюшевый мишка,

а вот с CS могут быть проблемы


разве что кеш надуть до суперного
11 сен 17, 17:06    [20787709]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 7684
firemn
Linux, Firebird Classic 2.5.6 x86
Это имеется в виду 32 битная ОСь? Или как?
firemn
Был триггер на коннекте, который лазил в таблицу mon$attachments, его отключили.
трассировка подтверждает отсутствие обращений к мониторингу?
firemn
При этом активности на сервере нет - все ядра используют 0,1%, сетевая\дисковая активность - под 0.
чем замеряли?
Старый плюшевый мишка
Старый добрый CS потянул бы и не поморщился на этой памяти.
У нас на сопоставимой нагрузке тянул, но после ротации серверов, стал тянуть зело веселей, но мы подрастили и проц, и память, и диск. До "конкретных затупов" мы вестимо не доводили, решили поменять железяку уже по факту мелкого нытья на подтормаживание. Собственно помогло.
11 сен 17, 17:49    [20787850]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
vvvait
Member

Откуда:
Сообщений: 19
автор
тут на форуме прочитал что это может вызывать частое обращения к таблицам мониторинга

подскажите плиз, где здесь можно про это почитать?
11 сен 17, 18:30    [20787982]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
firemn
Member

Откуда:
Сообщений: 4
hvlad,

автор
- снимите дамп лок-таблицы (fb_lock_print -a -c)

https://drive.google.com/open?id=0B-fzkIkEB8FQUW5GZnR2amtKOW8

автор
- снимите бектрейсы с нескольких процессов fb_inet_server (gdb и .debug в помощь)

https://drive.google.com/open?id=0B-fzkIkEB8FQLXRRUXVNbHItdFE

Этот процесс на который подозрения что он "валит" базу.
11 сен 17, 18:46    [20788033]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
firemn
Member

Откуда:
Сообщений: 4
vvvait,

Находил поиском по форуму по deadlock scans.
Вот тут писали: http://www.sql.ru/forum/1182884/deadlock-scans?hl=deadlock scans
11 сен 17, 18:59    [20788053]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
hvlad
Member

Откуда:
Сообщений: 9234
firemn
автор
- снимите дамп лок-таблицы (fb_lock_print -a -c)

https://drive.google.com/open?id=0B-fzkIkEB8FQUW5GZnR2amtKOW8

171 коннект, в пике было 458 коннектов
94 коннекта ждут лок для header page
20 коннектов ждут лок для страницы 133

Возможно, очень медленный IO, возможно (пальцем в небо) из-за проблем с рейдом\барьером в файловой системе, и т.п.

firemn
автор
- снимите бектрейсы с нескольких процессов fb_inet_server (gdb и .debug в помощь)
https://drive.google.com/open?id=0B-fzkIkEB8FQLXRRUXVNbHItdFE

Этот процесс на который подозрения что он "валит" базу.
Этот процесс выполняет запрос и ждёт дисковый IO (read).
Никакого криминала не вижу.
Возможно, он создаёт избыточный IO, но по бектрассе это сказать нельзя
11 сен 17, 19:10    [20788065]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 7684
hvlad
чень медленный IO, возможно (пальцем в небо) из-за проблем с рейдом
маркировка рэйда не озвучена, есть ли он вообще?

Сервер "железный" или виртуальный?

hvlad
94 коннекта ждут лок для header page
20 коннектов ждут лок для страницы 133
Зело поможет увеличение памяти под файловый кэш и райтбэк кэширование на рэйд контроллере.

firemn
дисковая активность - под 0
Еще раз вопрос чем и в чем замеряли? визуально по миганию лампочки на диске и в мегабайтах в секунду? замерять надо в ИОпсах (кол-во операций ввода вывода в секунду).
12 сен 17, 12:55    [20789598]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
o_v_a
Member

Откуда: Тула
Сообщений: 902
Райтбэк кэширование записи - это надо ему ещё убедиться, что рэйд-контроллер с батарейкой.

Если база более-менее отвечает в момент подвисаний, то можно и на статистику активных запросов глянуть. Может, оптимизировать что получится?
12 сен 17, 14:26    [20789970]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Старый плюшевый мишка
Member

Откуда:
Сообщений: 206
А может просто диски на грани издыхания?
12 сен 17, 14:43    [20790076]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 57316
На грани издыхания так, что асфиксия ровно раз в 5 минут случается?

Posted via ActualForum NNTP Server 1.5

12 сен 17, 14:45    [20790085]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с производительностью базы  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 7684
o_v_a
Райтбэк кэширование записи - это надо ему ещё убедиться, что рэйд-контроллер с батарейкой.
Нынче моднее конденсатор+флеш, вместо ББУ, но суть та же. Таки да, нужен умный контроллер с соотв. доп оборудованием.

Маркировка дисков не озвучена. Под такою нагрузку я бы поставил штучек 6 полутерабайтных ССДшек (с ресурсом перезаписи "сервер баз данных") в рэйд 10 на каком-нидь свеженьком адаптеке с возможностью кэшировать запись.
12 сен 17, 15:02    [20790180]     Ответить | Цитировать Сообщить модератору
Все форумы / Firebird, InterBase Ответить