Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Новый топик    Ответить
 Сбой на реорганизации  [new]
Semen Popov
Member

Откуда: Сыктывкар
Сообщений: 793
Здравствуйте всем!
DB2 WSE 9.7.6.
На БД ночью проводилась реорганизация и в какой-то момент произошел сбой. Диск, подключенный к серверу от СХД, отвалился. База стала недоступной. С утра диск подключили. Но похоже какая-то таблица (вероятно та, на которой выполнялся reorg в момент сбоя) осталось заблокированной или в каком-то отложенном состоянии. В итоге я могу выполнить соединение с БД, а select на одной таблице не выполняется. Пишет, что из-за тупиковых ситуаций транзакция отложена. Где можно снать блокировку этой таблицы и привести БД в нормальное состояние?

Спасибо
С уважением, Семен Попов
2 июл 13, 12:31    [14509677]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
Semen Popov
Member

Откуда: Сыктывкар
Сообщений: 793
db2 load query table MYSCHEMA.MYTAB выдает, что состояние таблицы нормальное. Но первый же запрос sеlect к этой таблице после загрузки менеджера висит долгое время, а затем сообщает об откате транзакции. Остальные таблицы без проблем. Что это значит? Что происходит с таблицей?
2 июл 13, 12:51    [14509802]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
m@m
Guest
Semen Popov,

а логе что?
и что видно по
select *
     from sysibmadm.snaptab_reorg
     where tabname in (your tables)
     --or reorg_status <> 'COMPLETED'
     order by reorg_start desc

в какой стадии оборвался реорг?
2 июл 13, 12:51    [14509806]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
m@m
Guest
Semen Popov
db2 load query table MYSCHEMA.MYTAB выдает, что состояние таблицы нормальное. Но первый же запрос sеlect к этой таблице после загрузки менеджера висит долгое время, а затем сообщает об откате транзакции. Остальные таблицы без проблем. Что это значит? Что происходит с таблицей?


Семен, очень похоже что сбой на этапе перестроения индекса.
Пока он не перестроен, каждое обращение к таблице будет вызывать старт этого процесса.
В логе должно быть однозначно указано начало процесса ребилда индекса.
Если нет времени ребилдить - дропните их (индексы)
2 июл 13, 12:57    [14509856]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
m@m
Guest
p.s.
а отваливаться может из-за нехватки места.
проверьте, достаточно ли места в соответствующем системтемптейблспейс, которое используется при ребилде.
если индекс логируется, то проверьте достаточно ли места в журнале транзакций
2 июл 13, 13:00    [14509879]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
Semen Popov
Member

Откуда: Сыктывкар
Сообщений: 793
m@m
Семен, очень похоже что сбой на этапе перестроения индекса.
Пока он не перестроен, каждое обращение к таблице будет вызывать старт этого процесса.
В логе должно быть однозначно указано начало процесса ребилда индекса.
Если нет времени ребилдить - дропните их (индексы)


Про какой процесс Вы говорите? Если индексы дропнуть, то затем надо их создать. Тогда надо скрипты для создания индексов поискать. А место на диске достаточно. Это я первым делом проверил. Запустил сейчас reorg table из процессора командной строки. Но тот что-то завис. В db2diag.log было сообщение об удачном завершении reorg, а дальше какие-то непонятки

2013-07-02-13.02.25.266000+240 I43355296F577      LEVEL: Info
PID : 984 TID : 3128 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : CSERVICE
APPHDL : 0-10 APPID: *LOCAL.DB2.130702090031
AUTHID : DB2ADMIN
EDUID : 3128 EDUNAME: db2agent (CSERVICE)
FUNCTION: DB2 UDB, trace services, sqlt_logerr_string (secondary logging fu, probe:0
MESSAGE : Reorg table committed!
DATA #1 : String, 82 bytes
Table(2:6)=DB2ADMIN.R_COMPONENTS_VALUE, Flags=x00004091, IID=0, Temp=0, LongTemp=0

2013-07-02-13.03.30.347000+240 I43355875F380 LEVEL: Info
PID : 984 TID : 2348 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000
EDUID : 2348 EDUNAME: db2loggw (CSERVICE)
FUNCTION: DB2 UDB, data protection services, sqlpgWriteToDisk, probe:1038
DATA #1 : <preformatted>
TailPage: 0 , WriteCount 1 ExtSize 1000

2013-07-02-13.03.30.347000+240 I43356257F578 LEVEL: Info
PID : 984 TID : 3128 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : CSERVICE
APPHDL : 0-10 APPID: *LOCAL.DB2.130702090031
AUTHID : DB2ADMIN
EDUID : 3128 EDUNAME: db2agent (CSERVICE)
FUNCTION: DB2 UDB, trace services, sqlt_logerr_string (secondary logging fu, probe:0
MESSAGE : Reorg table successful.
DATA #1 : String, 82 bytes
Table(2:6)=DB2ADMIN.R_COMPONENTS_VALUE, Flags=x00004091, IID=0, Temp=0, LongTemp=0

2013-07-02-13.03.30.347000+240 I43356837F380 LEVEL: Info
PID : 984 TID : 2348 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000
EDUID : 2348 EDUNAME: db2loggw (CSERVICE)
FUNCTION: DB2 UDB, data protection services, sqlpgWriteToDisk, probe:1038
DATA #1 : <preformatted>
TailPage: 1 , WriteCount 1 ExtSize 1000

2013-07-02-13.03.30.347000+240 I43357219F380 LEVEL: Info
PID : 984 TID : 2348 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000
EDUID : 2348 EDUNAME: db2loggw (CSERVICE)
FUNCTION: DB2 UDB, data protection services, sqlpgWriteToDisk, probe:1038
DATA #1 : <preformatted>
TailPage: 0 , WriteCount 1 ExtSize 1000

2013-07-02-13.03.30.347000+240 E43357601F511 LEVEL: Warning
PID : 984 TID : 3128 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : CSERVICE
APPHDL : 0-10 APPID: *LOCAL.DB2.130702090031
AUTHID : DB2ADMIN
EDUID : 3128 EDUNAME: db2agent (CSERVICE)
FUNCTION: DB2 UDB, data management, sqldBeginIndexCreate, probe:1
MESSAGE : ADM5540W Rebuilding "4" indexes on table
"DB2ADMIN.R_COMPONENTS_VALUE".

2013-07-02-13.03.30.347000+240 I43358114F559 LEVEL: Info
PID : 984 TID : 3128 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : CSERVICE
APPHDL : 0-10 APPID: *LOCAL.DB2.130702090031
AUTHID : DB2ADMIN
EDUID : 3128 EDUNAME: db2agent (CSERVICE)
FUNCTION: DB2 UDB, catalog services, sqlrlPrepIndexBuild, probe:10
DATA #1 : String, 115 bytes
prep: id 0000000007c55480 : keyT 0000000000000000 : flags 0 : itok 0 : pair 0000000007c1a6a8 : rCB 0000000007c1aec0

2013-07-02-13.03.30.347000+240 E43358675F558 LEVEL: Warning
PID : 984 TID : 3128 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : CSERVICE
APPHDL : 0-10 APPID: *LOCAL.DB2.130702090031
AUTHID : DB2ADMIN
EDUID : 3128 EDUNAME: db2agent (CSERVICE)
FUNCTION: DB2 UDB, data management, sqldIndexCreate, probe:1
MESSAGE : ADM5541W Rebuilding index with IID "1" in object with ID "6" and
table space ID "2" on table "DB2ADMIN.R_COMPONENTS_VALUE".

2013-07-02-13.03.30.347000+240 I43359235F563 LEVEL: Info
PID : 984 TID : 3128 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : CSERVICE
APPHDL : 0-10 APPID: *LOCAL.DB2.130702090031
AUTHID : DB2ADMIN
EDUID : 3128 EDUNAME: db2agent (CSERVICE)
FUNCTION: DB2 UDB, data management, sqldDetermineParallelism, probe:111
MESSAGE : num_scans=6 pApplication=x000000000B000080 acbInfo=x0 sortflag=x1
agent_role=x1 acbFlag=xA lastObjPage=928927 nestedDSS=0

2013-07-02-13.04.45.708000+240 I43359800F348 LEVEL: Info
PID : 2956 TID : 3616 PROC : db2.exe
INSTANCE: DB2 NODE : 000
EDUID : 3616
FUNCTION: DB2 UDB, command line process, clp_read_outputq, probe:88
MESSAGE : O33 Read Queue Timeout Loop Max Exceeded
DATA #1 : signed integer, 4 bytes
31

2013-07-02-13.04.54.475000+240 I43360150F385 LEVEL: Info
PID : 984 TID : 2412 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000
EDUID : 2412 EDUNAME: db2sysc
FUNCTION: DB2 UDB, fast comm manager, sqkfDynamicResourceMgr::SelfRefreshStats, probe:10
DATA #1 : <preformatted>
Collecting Buffer consumption statistics.

2013-07-02-13.04.54.475000+240 I43360537F386 LEVEL: Info
PID : 984 TID : 2412 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000
EDUID : 2412 EDUNAME: db2sysc
FUNCTION: DB2 UDB, fast comm manager, sqkfDynamicResourceMgr::SelfRefreshStats, probe:10
DATA #1 : <preformatted>
Collecting Channel consumption statistics.

2013-07-02-13.04.54.725000+240 I43360925F406 LEVEL: Info
PID : 984 TID : 4876 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000
EDUID : 4876 EDUNAME: db2ipccm
FUNCTION: DB2 UDB, base sys utilities, sqeAppServices::CreateAppl, probe:100
DATA #1 : <preformatted>
Addr[1630F560] Nodes=[1]:: Appl[0 43]AppNodes[1],krcbNodes[1],maxNode=[0]

2013-07-02-13.04.54.756000+240 I43361333F406 LEVEL: Info
PID : 984 TID : 4876 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000
EDUID : 4876 EDUNAME: db2ipccm
FUNCTION: DB2 UDB, base sys utilities, sqeAppServices::CreateAppl, probe:100
DATA #1 : <preformatted>
Addr[1630F560] Nodes=[1]:: Appl[0 44]AppNodes[1],krcbNodes[1],maxNode=[0]

2013-07-02-13.04.54.787000+240 I43361741F406 LEVEL: Info
PID : 984 TID : 4876 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000
EDUID : 4876 EDUNAME: db2ipccm
FUNCTION: DB2 UDB, base sys utilities, sqeAppServices::CreateAppl, probe:100
DATA #1 : <preformatted>
Addr[1630F560] Nodes=[1]:: Appl[0 45]AppNodes[1],krcbNodes[1],maxNode=[0]

2013-07-02-13.04.54.818000+240 I43362149F406 LEVEL: Info
PID : 984 TID : 4876 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000
EDUID : 4876 EDUNAME: db2ipccm
FUNCTION: DB2 UDB, base sys utilities, sqeAppServices::CreateAppl, probe:100
DATA #1 : <preformatted>
Addr[1630F560] Nodes=[1]:: Appl[0 46]AppNodes[1],krcbNodes[1],maxNode=[0]

2013-07-02-13.05.16.720000+240 I43362557F348 LEVEL: Info
PID : 2956 TID : 3616 PROC : db2.exe
INSTANCE: DB2 NODE : 000
EDUID : 3616
FUNCTION: DB2 UDB, command line process, clp_read_outputq, probe:88
MESSAGE : O33 Read Queue Timeout Loop Max Exceeded
DATA #1 : signed integer, 4 bytes
31
2 июл 13, 13:23    [14510046]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
m@m
Guest
Semen Popov
Про какой процесс Вы говорите?


Про ребилд индекса

Semen Popov
2013-07-02-13.03.30.347000+240 E43358675F558 LEVEL: Warning
PID : 984 TID : 3128 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : CSERVICE
APPHDL : 0-10 APPID: *LOCAL.DB2.130702090031
AUTHID : DB2ADMIN
EDUID : 3128 EDUNAME: db2agent (CSERVICE)
FUNCTION: DB2 UDB, data management, sqldIndexCreate, probe:1
MESSAGE : ADM5541W Rebuilding index with IID "1" in object with ID "6" and
table space ID "2" on table "DB2ADMIN.R_COMPONENTS_VALUE".


что дает:
select * from sysibmadm.snaptab_reorg where tabname in ('R_COMPONENTS_VALUE')
?
2 июл 13, 13:34    [14510113]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
Semen Popov
Member

Откуда: Сыктывкар
Сообщений: 793
m@m
Semen Popov,

а логе что?
и что видно по
select *
     from sysibmadm.snaptab_reorg
     where tabname in (your tables)
     --or reorg_status <> 'COMPLETED'
     order by reorg_start desc

в какой стадии оборвался реорг?

select вернул 0 записей. А лог оборвался в момент сбоя на реорганизации индекса

2013-07-01-20.28.00.775000+240 E18045615F558      LEVEL: Warning
PID : 1244 TID : 3180 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : CSERVICE
APPHDL : 0-28764 APPID: *LOCAL.DB2.130702045307
AUTHID : DB2ADMIN
EDUID : 3180 EDUNAME: db2agent (CSERVICE)
FUNCTION: DB2 UDB, data management, sqldIndexCreate, probe:1
MESSAGE : ADM5541W Rebuilding index with IID "2" in object with ID "6" and
table space ID "2" on table "DB2ADMIN.R_COMPONENTS_VALUE".

2013-07-01-20.32.08.793000+240 E18046175F547 LEVEL: Error
PID : 2168 TID : 2572 PROC : db2fmp64.exe
INSTANCE: DB2 NODE : 000
EDUID : 2572
FUNCTION: DB2 UDB, Health Monitor, HealthIndicator::update, probe:500
MESSAGE : ADM10500E Health indicator "Использование собственной пам" ("ти
сортировки") breached the "db2.sort_privmem_util" alarm threshold of
"верхн" with value "" on "" "". Calculation: "" = "" = "". History
(Timestamp, Value, Formula): ""
2 июл 13, 13:35    [14510120]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
Semen Popov
Member

Откуда: Сыктывкар
Сообщений: 793
m@m
что дает:
select * from sysibmadm.snaptab_reorg where tabname in ('R_COMPONENTS_VALUE')
?

0 записей
2 июл 13, 13:36    [14510133]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
m@m
Guest
Semen Popov,
м.б.
db2 list history reorg since 20130702 for db CSERVICE
даст больше информации о причинах сбоя
2 июл 13, 13:52    [14510253]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
Semen Popov
Member

Откуда: Сыктывкар
Сообщений: 793
Может быть. Но сейчас запустил реорганизацию всех индексов таблицы
reorg indexes for table <Tab>
2 июл 13, 13:54    [14510273]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
Semen Popov
Member

Откуда: Сыктывкар
Сообщений: 793
После реорганизации индексов проблема ушла. Всем спасибо
2 июл 13, 15:34    [14511093]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
Semen Popov
Member

Откуда: Сыктывкар
Сообщений: 793
m@m
Semen Popov
Про какой процесс Вы говорите?


Про ребилд индекса


У меня вопрос. Получается, что как только база переходила в активное состояние, то сразу начинался ребилд проблеммного индекса? И тогда всего лишь надо было подождать, пока этот процесс завершится?
2 июл 13, 15:53    [14511224]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
m@m
Guest
Semen Popov,
возможно, что как только было первое обращение к таблице, у которой был инвалидный индекс.
если никаких помех для перестроения индекса не было, то можно было подождать.
посмотрите, что в параметрах конфигурации (index re-creation).
2 июл 13, 16:18    [14511448]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
Semen Popov
Member

Откуда: Сыктывкар
Сообщений: 793
m@m, в базе установлен INDEXREC = SYSTEM (RESTART). Вы об этом параметре говорите?
2 июл 13, 16:52    [14511781]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
m@m
Guest
Semen Popov, да, вроде он.
Вы говорите база у вас падала и вы ее рестартовали - по идее при рестарте должно было начаться пересоздание индекса.
У меня была схожая проблема без падения всей базы и перестроение начиналось только после обращения к таблице.
2 июл 13, 17:19    [14511990]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
Semen Popov
Member

Откуда: Сыктывкар
Сообщений: 793
Вот, видите как. Всего лишь нужно было подождать. А у нас ведь всё хотят сразу :-) Пользователи меня живьем съели (но их тоже можно понять). В итоге, вместо 30 мин ожидания бился с проблемой около полудня. Опыт приходит с практикой :-)
2 июл 13, 17:43    [14512176]     Ответить | Цитировать Сообщить модератору
 Re: Сбой на реорганизации  [new]
vitabios
Member

Откуда: Тула
Сообщений: 678
Semen Popov,

понимаю Вас, была подобная ситуация, причем на той же БД, так мы вообще восстановили БД с последнего бекапа - специалистам не терпелось поработать.
5 сен 13, 23:12    [14802225]     Ответить | Цитировать Сообщить модератору
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Ответить