Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Informix Новый топик    Ответить
 БД падает во время селекта.Помогите найти причину плз  [new]
LudeV
Member

Откуда:
Сообщений: 416
Добрый день.

Последнюю неделю каждый день стала падать БД. Никаких изменений в ней не делали последний месяц.

Во время падения работает другой отдел,запускаем селект и БД падает. Селект легкий джойн из 2 таблиц.В чем может быть трабл?
Вот, что в пишет:

stack trace for pid 29010 written to /usr/informix/tmp/af.a495898e
12:49:19 Assert Failed: No Exception Handler
12:49:19 IBM Informix Dynamic Server Version 11.70.FC3
12:49:19 Who: Session(58033, adm@*, -1, 0x3d9e4d818)
Thread(94675117, sqlexec, 3d0a5fa98, 1)
File: mtex.c Line: 498
12:49:19 Results: Exception Caught. Type: MT_EX_OS, Context: mem
12:49:19 Action: Please notify IBM Informix Technical Support.
12:49:19 See Also: /usr/informix/tmp/af.a495898e
12:49:27 Starting crash time check of:
12:49:27 1. memory block headers
12:49:27 2. stacks
12:49:27 Crash time checking found no problems
12:49:27 mtex.c, line 498, thread 94675117, proc id 29010, No Exception Handler.
12:49:28 The Master Daemon Died
12:49:28 The Master Daemon Died
12:49:28 PANIC: Attempting to bring system down


Подскажите куда копать? Что делает другой отдел именно в это время не знаю,т.к. падает в разное время.
2 мар 12, 15:03    [12183895]     Ответить | Цитировать Сообщить модератору
 Re: БД падает во время селекта.Помогите найти причину плз  [new]
DrGonzo
Member

Откуда: ex-IBM
Сообщений: 189
LudeV,

Выложите файл /usr/informix/tmp/af.a495898e или хотя бы стек из него.
2 мар 12, 15:29    [12184127]     Ответить | Цитировать Сообщить модератору
 Re: БД падает во время селекта.Помогите найти причину плз  [new]
LudeV
Member

Откуда:
Сообщений: 416
DrGonzo,

12:49:19 Context ptr = 0x0000000001a87e60
12:49:19 Siginfo ptr = 0x0000000001a87f90
12:49:19 Reg 0(R8) 0x0000000000000005 Reg 1(R9) 0x0000000000000006
12:49:19 Reg 2(R10) 0x0000000000000015 Reg 3(R11) 0x00000000012301e0
12:49:19 Reg 4(R12) 0x00000003ed46fc48 Reg 5(R13) 0x00000003e1f30438
12:49:19 Reg 6(R14) 0x00000003dfbfe110 Reg 7(R15) 0x00000003fb2a09e8
12:49:19 Reg 8(RDI) 0x00000003dfbfe110 Reg 9(RSI) 0x0000000000000f2e
12:49:19 Reg 10(RBP) 0x00000003dfbfecb8 Reg 11(RBX) 0x00000003ea3cb408
12:49:19 Reg 12(RDX) 0x00000000014773c0 Reg 13(RAX) 0x0000000000000000
12:49:19 Reg 14(RCX) 0x0000000000002981 Reg 15(RSP) 0x00000004426c9520
12:49:19 Reg 16(RIP) 0x0000000000789dea Reg 17(EFL) 0x0000000000010206
12:49:19 Reg 18(CSGSFS) 0x0000000000000033 Reg 19(ERR) 0x0000000000000006
12:49:19 Reg 20(TRAPNO) 0x000000000000000e Reg 21(OLDMASK) 0x0000000000000000
12:49:19 Reg 22(CR2) 0x0000000000000000
12:49:19 Raw hex dump of stack located in /usr/informix/tmp/af.a495898e.rawstk
12:49:19 Stack for thread: 94675117 sqlexec

base: 0x00000004426bb000
len: 69632
pc: 0x000000000127f4c6
tos: 0x0000000001a87900
state: running
vp: 1

0x000000000127f4c6 (oninit) afstack
0x000000000128595c (oninit) mt_ex_throw_sig
0x000000000123ac63 (oninit) afsig_handler
0x000000364720eb70 (Linux) <signal frame>
0x0000000000789dea (oninit) mindex_bidxfrags
0x0000000000789ea8 (oninit) mindex_bidxfrags
0x0000000000789ffa (oninit) mindex_bidxfrags
0x000000000078e683 (oninit) itbmindex
0x0000000000794faa (oninit) itbldscan
0x00000000007966dd (oninit) itbldqnode
0x0000000000796390 (oninit) itbldqnode
0x0000000000798e58 (oninit) itcallbldquery
0x000000000079a24a (oninit) itbldroot
0x000000000064ee57 (oninit) qd_bldroot_on_cb_hierarchy
0x000000000064ef5e (oninit) qd_bldroot
0x000000000069ea22 (oninit) ssc_link
0x000000000094be7a (oninit) parsecmd
0x000000000094c330 (oninit) sqcmd
0x000000000094e882 (oninit) sq_cmnd
0x000000000094e9e4 (oninit) sq_prepare
0x0000000000a1ce3e (oninit) sqmain
0x00000000013411d6 (oninit) spawn_thread
0x000000000124df04 (oninit) startup

12:49:19
12:49:19 IBM Informix Dynamic Server Version 11.70.FC3 Software Serial Number AAA#B000000

12:49:19 Assert Failed: No Exception Handler
12:49:19 Who: Session(58033, *, -1, 0x3d9e4d818)
Thread(94675117, sqlexec, 3d0a5fa98, 1)
File: mtex.c Line: 498
12:49:19 Results: Exception Caught. Type: MT_EX_OS, Context: mem
12:49:19 Action: Please notify IBM Informix Technical Support.
12:49:19 See Also: /usr/informix/tmp/af.a495898e

---------------------------------
Begin System Alarm Program Output
---------------------------------
Assertion Failure Type: CRASH
Host Name: *
Database Server Name: *
Time of failure: Fri Mar 2 12:49:19 MSK 2012
AF file: /usr/informix/tmp/af.a495898e
Shared memory file: None
System Blocking: OFF


===========------------- - - - - - -
tail -100 /var/logs/ids/online.log:

11:00:55 Fri Mar 2 - loguniq 6500, logpos 0x3558b3cc, timestamp: 0xec8d55a Interval: 247169

11:00:55 Maximum server connections 138
11:00:55 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 26219, Llog used 29233
11:01:16 Checkpoint Completed: duration was 1 seconds.
11:01:16 Fri Mar 2 - loguniq 6500, logpos 0x3b3e27ac, timestamp: 0xed0a191 Interval: 247170

11:01:16 Maximum server connections 138
11:01:16 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 19981, Llog used 24152

11:01:32 Logical Log 6500 Complete, timestamp: 0xed70b14.
11:01:37 Checkpoint Completed: duration was 1 seconds.
11:01:37 Checkpoint Completed: duration was 1 seconds.
11:01:37 Fri Mar 2 - loguniq 6501, logpos 0x12d7258, timestamp: 0xed87054 Interval: 247171

11:01:37 Maximum server connections 138
11:01:37 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 19871, Llog used 24461

11:04:28 Checkpoint Completed: duration was 1 seconds.
11:04:28 Fri Mar 2 - loguniq 6501, logpos 0x6edb164, timestamp: 0xf307a3d Interval: 247172

11:04:28 Maximum server connections 138
11:04:28 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 2, Plog used 20278, Llog used 23556

11:05:22 Checkpoint Completed: duration was 8 seconds.
11:05:22 Fri Mar 2 - loguniq 6501, logpos 0xe5a32f8, timestamp: 0xf553b11 Interval: 247173

11:05:22 Maximum server connections 138
11:05:22 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 2, Plog used 58578, Llog used 31056

11:28:08 Checkpoint Completed: duration was 5 seconds.
11:28:08 Fri Mar 2 - loguniq 6501, logpos 0x14240018, timestamp: 0xf7c53e4 Interval: 247174

11:28:08 Maximum server connections 138
11:28:08 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 21103, Llog used 23931

11:28:08 SCHAPI: [post_alarm_message 15-821283] Error -240 Could not delete a row.

11:28:08 SCHAPI: [post_alarm_message 15-821283] Error -143 ISAM error: deadlock detected
11:35:14 Checkpoint Completed: duration was 6 seconds.
11:35:14 Fri Mar 2 - loguniq 6501, logpos 0x19b9a018, timestamp: 0xf889e16 Interval: 247175

11:35:14 Maximum server connections 138
11:35:14 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 35915, Llog used 23069

11:35:14 Checkpoint Completed: duration was 6 seconds.
...
12:17:06 Logical Log 6501 Complete, timestamp: 0xff69ddb.
12:49:19 stack trace for pid 29010 written to /usr/informix/tmp/af.a495898e
12:49:19 Assert Failed: No Exception Handler
12:49:19 IBM Informix Dynamic Server Version 11.70.FC3
12:49:19 Who: Session(58033, *, -1, 0x3d9e4d818)
Thread(94675117, sqlexec, 3d0a5fa98, 1)
File: mtex.c Line: 498
12:49:19 Results: Exception Caught. Type: MT_EX_OS, Context: mem
12:49:19 Action: Please notify IBM Informix Technical Support.
12:49:19 See Also: /usr/informix/tmp/af.a495898e


Может быть это как-то связано с deadlock (при селекте пытаемся выбрать что-то,что сейчас меняется и он падает)?
Подскажите плиз
2 мар 12, 16:24    [12184759]     Ответить | Цитировать Сообщить модератору
 Re: БД падает во время селекта.Помогите найти причину плз  [new]
LudeV
Member

Откуда:
Сообщений: 416
LudeV,

нашли где падает.

запускаем селект в сервер студио, нажимаем стоп,запускаем заново и тут же информикс падает.

может кто-то сталкивался с таким?
2 мар 12, 16:57    [12185099]     Ответить | Цитировать Сообщить модератору
 Re: БД падает во время селекта.Помогите найти причину плз  [new]
Яковлев Павел
Member

Откуда: Ленинград
Сообщений: 233
Смотрим функции работавшие непосредственно до вылета (ниже <signal frame>)

Видим mindex_bidxfrags

Ищем в Гугле

Находим ооочень похожее с почти таким же трейсом стека

https://www-304.ibm.com/support/entdocview.wss?uid=swg1IC80234

автор
With 11.70 Informix, DML commands can use a new access method
called 'skip scan'. It's a special case of the 'multi index
scan' access method when only a single index is utilized.
If you have such a command used in a user defined routine (UDR),
or if you are using the SQL statement cache (SSC), your
instance can generate an AF failure while it is using the stored
query plan of such a command (in case you have the command
used in UDR, it's plan is stored in the sysprocplan system
catalog; in case you have the SSC enabled, the query plan is
there).

With 11.70 Informix, DML commands can use a new access method
called 'skip scan'. It's a special case of the 'multi index
scan' access method when only a single index is utilized.
If you have such a command used in a user defined routine (UDR),
or if you are using the SQL statement cache (SSC), your
instance can generate an AF failure while it is using the stored
query plan of such a command (in case you have the command
used in UDR, it's plan is stored in the sysprocplan system
catalog; in case you have the SSC enabled, the query plan is
there).


Статус - Error/Open

Предлагается временный фикс

автор
Turn off the multi index scan by setting the undocumented
onconfig parameter MULTI_INDEX_SCAN to 0 (can be also done
dynamically using 'onmode -wf' command);
then run 'update statistics for procedure' to re-optimize the
procedure plans;
in case you use the SSC, disable & re-enable it using 'onmode -e
OFF|ON|ENABLE' commands
2 мар 12, 21:30    [12186357]     Ответить | Цитировать Сообщить модератору
 Re: БД падает во время селекта.Помогите найти причину плз  [new]
Яковлев Павел
Member

Откуда: Ленинград
Сообщений: 233
LudeV
нашли где падает.

запускаем селект в сервер студио, нажимаем стоп,запускаем заново и тут же информикс падает.

может кто-то сталкивался с таким?

там в описании ошибки, кстати, упоминается SSC - что так очень хорошо подходит - ваш селект ко второму запуск как раз в кэше
2 мар 12, 21:33    [12186370]     Ответить | Цитировать Сообщить модератору
 Re: БД падает во время селекта.Помогите найти причину плз  [new]
LudeV
Member

Откуда:
Сообщений: 416
Яковлев Павел,

спасибо большое!
5 мар 12, 10:15    [12193649]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: БД падает во время селекта.Помогите найти причину плз  [new]
Сергей Б
Member

Откуда: Москва
Сообщений: 151
Может кому и пригодится.
Ситуация похожа с этой.
Делается запрос к другому серверу
select * from ext_message where recv_code in 
(select recv_code from db@server:paym_subj where


если запрос не возвращает ни одной строки (SQL Error (-284): A subquery has returned not exactly one row),
то сервер с которого делается запрос падает. Если запрос возвращает данные, то все нормально.

Установка в onconfig параметра MULTI_INDEX_SCAN = 0 решает все проблемы.

Версия 11.70.FC6 на обоих серверах.
4 май 17, 11:04    [20455856]     Ответить | Цитировать Сообщить модератору
Все форумы / Informix Ответить