Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Firebird, InterBase Новый топик    Ответить
 Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
bsv9
Member

Откуда:
Сообщений: 44
Завис Firebird 3.0.5.33125. Classic.
Windows server 2012 R2. RAM 256 Gb.
База 150 Gb, Среднее количество коннектов около 200.

Зависание выражалось в следующем:
1. Никто не может подключиться к базе. При этом, на сервере быстро растет количество процессов firebird.exe
2. Старые коннекты исправно работают, тормозов в них не заметно.
3. Чрезмерной нагрузки на процессоры и диски - нет. Всё на штатном уровне.

Безуспешно пытались сделать базе shutdown.
gfix -shut multi -attach 0 database

Молча отрабатывает, но база, как будто, не гасится. Потому что количество процессов firebird.exe продолжает лавинно расти.
Пришлось отключить сеть и прибить firebird-сервис.

После перезагрузки проверили базу на ошибки. Ошибок нет, только два варнинга:
firebird.log
SRV Thu Oct 10 14:04:04 2019
Database: database
Warning: Index 3 misses node on page 9452875 level 1 at offset 12163 in table REMAINDERS (132)


SRV Thu Oct 10 14:04:04 2019
Database: database
Warning: Index 3 has inconsistent left sibling pointer, page 9452875 level 1 at offset 12185 in table REMAINDERS (132)


Запустились, все работает.

Сейчас обнаружили, что вчера в firebird.log была такая ошибка:
firebird.log
SRV Thu Oct 10 10:02:21 2019
JProvider::shutdown:
Firebird shutdown is still in progress after the specified timeout

И сегодня, непосредственно перед зависанием еще два таких же сообщения:
firebird.log
SRV Thu Oct 10 12:35:49 2019
JProvider::shutdown:
Firebird shutdown is still in progress after the specified timeout


SRV Thu Oct 10 12:35:49 2019
JProvider::shutdown:
Firebird shutdown is still in progress after the specified timeout


Что это за ошибка? Зависание с этим как то связанно?
10 окт 19, 13:47    [21991254]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 30624

10.10.2019 13:47, bsv9 пишет:
> Зависание выражалось в следующем:
> 1. Никто не может подключиться к базе. При этом, на сервере быстро
> растет количество процессов firebird.exe
> 2. Старые коннекты исправно работают, тормозов в них не заметно.
> 3. Чрезмерной нагрузки на процессоры и диски - нет. Всё на штатном уровне.

обычно при таких симтомах рекомендуется выполнять
fb_lock_print -c -d my_database

Posted via ActualForum NNTP Server 1.5

10 окт 19, 15:25    [21991388]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
bsv9
Member

Откуда:
Сообщений: 44
Не догадался, блин. Спасибо, учту на следующий раз.
10 окт 19, 15:43    [21991409]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
hvlad
Member

Откуда:
Сообщений: 10654
Мимопроходящий
обычно при таких симтомах рекомендуется выполнять
fb_lock_print -c -d my_database
-a забыл

И - снимать полный дамп памяти. Если есть кому на него потом смотреть.
10 окт 19, 16:01    [21991430]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 30624

10.10.2019 16:01, hvlad пишет:
> И - снимать полный дамп памяти. Если есть кому на него потом смотреть.

кстати, чем нынче принято делать дамп в это время суток?
LiME, или что-то другое?

Posted via ActualForum NNTP Server 1.5

10 окт 19, 16:19    [21991445]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
hvlad
Member

Откуда:
Сообщений: 10654
Мимопроходящий,

понятия не имею про LiME.

Есть task manager, process explorer, procdump
10 окт 19, 16:53    [21991499]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 30624

10.10.2019 16:53, hvlad пишет:
>
> Есть task manager, process explorer, procdump

дык я для пингвина интересуюсь.

Posted via ActualForum NNTP Server 1.5

10 окт 19, 17:00    [21991507]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 9482
Мимопроходящий
дык я для пингвина интересуюсь.
Если "насмерть", то простое "kill -ABRT PID".
Ну или gdb и gcore из него.
10 окт 19, 17:27    [21991552]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 30624

10.10.2019 17:27, Basil A. Sidorov пишет:
>
> Если "насмерть", то простое "kill -ABRT PID".
> Ну или gdb и gcore из него.

СПАСИБО!
(записал в блокнотик)

Posted via ActualForum NNTP Server 1.5

10 окт 19, 17:38    [21991568]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
bsv9
Member

Откуда:
Сообщений: 44
hvlad
И - снимать полный дамп памяти. Если есть кому на него потом смотреть.


А в Classic-e c какого процесса снимать дамп? У меня их там больше тыщи было...
С любого или есть какая то методика по выбору?
10 окт 19, 19:04    [21991647]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
hvlad
Member

Откуда:
Сообщений: 10654
bsv9
hvlad
И - снимать полный дамп памяти. Если есть кому на него потом смотреть.


А в Classic-e c какого процесса снимать дамп? У меня их там больше тыщи было...
С любого или есть какая то методика по выбору?
Желательно со всех.

В данном случае можно запустить isql с embedded коннектом и снять дамп с него,
но так мы только увидим чего он ждёт, но ну евидим кто его блокирует и - главное - почему.

Более точно можно сказать, глядя на вывод fb_lock_print.
Но это нужно делать оперативно, конечно.
Для отложенного анализа - дампы со всех процессов.

PS а кто обещал, что будет легко ?
10 окт 19, 19:43    [21991675]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
hvlad
Member

Откуда:
Сообщений: 10654
Мимопроходящий
10.10.2019 16:53, hvlad пишет:
>
> Есть task manager, process explorer, procdump

дык я для пингвина интересуюсь.
Ну тут-то и винде речь :)
На линуксах есть gdb, как уже подсказали.
10 окт 19, 19:44    [21991676]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 9482
bsv9
А в Classic-e c какого процесса снимать дамп? У меня их там больше тыщи было...
Сложено для удобства чтения:
for /f "tokens=2" %A in ('tasklist -nh -fi "imagename eq fb_inet_server.exe"') do
@start/b procdump -nobanner -accepteula
-ma %A ProcessName-yymmdd-hhmmss-pid.dmp
11 окт 19, 08:19    [21991797]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
bsv9
Member

Откуда:
Сообщений: 44
Basil A. Sidorov
Сложено для удобства чтения:

for /f "tokens=2" %A in ('tasklist -nh -fi "imagename eq fb_inet_server.exe"') do
@start/b procdump -nobanner -accepteula
-ma %A ProcessName-yymmdd-hhmmss-pid.dmp

Круто, Спасибище !
11 окт 19, 10:47    [21991910]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 30624

надо бы пожалуй небольшой FAQ на эту тему соорудить.
что делать в подобных случаях для локализации причин.
ибо подобные ситуации иногда возникают внезапно,
а действовать надо оперативно, чтоб не упустить момент.

Posted via ActualForum NNTP Server 1.5

11 окт 19, 11:25    [21991958]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
o_v_a
Member

Откуда: Тула
Сообщений: 1079
Годно.
Но, разумеется, с оговоркой, что сервер может "тупить" по причинам совершенно внешним по отношению к Firebird.
Вон мне на один сервак сегодня пожаловались, так там просто вспомогательная прикладная подсистема ресурсы хапнула (навесил её на этот сервак, чтоб не бездельничал, ибо его обычная утилизация 0.5%). А я тоже думал сначала, что с базой не лады...
11 окт 19, 11:38    [21991972]     Ответить | Цитировать Сообщить модератору
 Re: Firebird 3.0.5 завис. shutdown is still in progress after the specified timeout  [new]
bsv9
Member

Откуда:
Сообщений: 44
Мимопроходящий
надо бы пожалуй небольшой FAQ на эту тему соорудить.
что делать в подобных случаях для локализации причин.
ибо подобные ситуации иногда возникают внезапно,
а действовать надо оперативно, чтоб не упустить момент.

Очень, очень нужен такой документ.
Каждая подобная авария это серьезный стресс для админа. Мало кто в таком состоянии способен быстро и адекватно принимать верные решения. Ошибиться очень легко, а исправить потом уже ничего нельзя.
11 окт 19, 13:27    [21992110]     Ответить | Цитировать Сообщить модератору
Все форумы / Firebird, InterBase Ответить