Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
После некорректного перезапуска сервера, падает db2 примерно через 5 мин после активации определенной базы. Проверка этой базы с помощью db2dart показала что база в порядке. Тем не менее если базу активировать и подключить к ней приложения то db2 стабильно падает через некоторое время и при этом в логе ругается только на эту базу (при каждом падении пишет ADM7518C "BOAUDIT " marked bad). Если же эту базу не трогать то все остальные базы на этом экземпляре работают нормально.

DB21085I Экземпляр "DB2" использует "64" бит и выпуск кода DB2 "SQL09072"с
идентификатором выпуска "08030107".
Информационные элементы суть "DB2 v9.7.200.358", "s100514", "IP23084", а также
пакет FixPack "2".

Что интересно, быстрое восстановление этой базы после перезапуска сервера прошло также успешно:

2011-05-16-22.14.54.265000+240 I15604510F443 LEVEL: Warning
PID : 1368 TID : 4388 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : BOAUDIT
APPHDL : 0-16 APPID: *LOCAL.DB2.110516181453
AUTHID : DB2ADMIN
EDUID : 4388 EDUNAME: db2agent (BOAUDIT)
FUNCTION: DB2 UDB, base sys utilities, sqledint, probe:30
MESSAGE : Crash Recovery is needed.

...

2011-05-16-22.18.07.813000+240 E15609833F469 LEVEL: Warning
PID : 1368 TID : 4388 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : BOAUDIT
APPHDL : 0-16 APPID: *LOCAL.DB2.110516181453
AUTHID : DB2ADMIN
EDUID : 4388 EDUNAME: db2agent (BOAUDIT)
FUNCTION: DB2 UDB, recovery manager, sqlpresr, probe:3170
MESSAGE : ADM1531E Crash recovery has completed successfully.



Вот кусок лога для "поврежденной" базы когда она помечена как bad:


2011-05-16-23.29.16.028000+240 E15782606F984 LEVEL: Critical
PID : 1368 TID : 4508 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : BOAUDIT
APPHDL : 0-18 APPID: *LOCAL.DB2.110516181808
AUTHID : DB2ADMIN
EDUID : 4508 EDUNAME: db2agent (BOAUDIT)
FUNCTION: DB2 UDB, base sys utilities, sqeLocalDatabase::MarkDBBad, probe:10
MESSAGE : ADM14001C An unexpected and critical error has occurred:
"DBMarkedBad". The instance may have been shutdown as a result.
"Automatic" FODC (First Occurrence Data Capture) has been invoked and
diagnostic information has been recorded in directory
"C:\ProgramData\IBM\DB2\DB2COPY1\DB2\FODC_DBMarkedBad_2011-05-16-23.2
9.16.028000\". Please look in this directory for detailed evidence
about what happened and contact IBM support if necessary to diagnose
the problem.

2011-05-16-23.29.16.029000+240 I15783592F223 LEVEL: Error
PID:1368 TID:4420 NODE:000 Title: SQLP_LECB
Dump File:C:\ProgramData\IBM\DB2\DB2COPY1\DB2\FODC_DBMarkedBad_2011-05-16-23.29.16.028000\1368.4420.000.dump.bin

2011-05-16-23.29.16.033000+240 I15783817F223 LEVEL: Error
PID:1368 TID:4420 NODE:000 Title: SQLP_LECB
Dump File:C:\ProgramData\IBM\DB2\DB2COPY1\DB2\FODC_DBMarkedBad_2011-05-16-23.29.16.028000\1368.4420.000.dump.bin

2011-05-16-23.29.16.033000+240 E15784042F467 LEVEL: Severe
PID : 1368 TID : 4508 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : BOAUDIT
APPHDL : 0-18 APPID: *LOCAL.DB2.110516181808
AUTHID : DB2ADMIN
EDUID : 4508 EDUNAME: db2agent (BOAUDIT)
FUNCTION: DB2 UDB, base sys utilities, sqeLocalDatabase::MarkDBBad, probe:10
MESSAGE : ADM7518C "BOAUDIT " marked bad.




Что можно попытаться сделать с базой чтобы починить ее кроме восстановления из бэкапа?
17 май 11, 15:09    [10665155]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
GVF112GVF
Guest
Andron
После некорректного перезапуска сервера, падает db2 примерно через 5 мин после активации определенной базы. Проверка этой базы с помощью db2dart показала что база в порядке. Тем не менее если базу активировать и подключить к ней приложения то db2 стабильно падает через некоторое время и при этом в логе ругается только на эту базу (при каждом падении пишет ADM7518C "BOAUDIT " marked bad). Если же эту базу не трогать то все остальные базы на этом экземпляре работают нормально.

DB21085I Экземпляр "DB2" использует "64" бит и выпуск кода DB2 "SQL09072"с
идентификатором выпуска "08030107".
Информационные элементы суть "DB2 v9.7.200.358", "s100514", "IP23084", а также
пакет FixPack "2".

Что интересно, быстрое восстановление этой базы после перезапуска сервера прошло также успешно:

2011-05-16-22.14.54.265000+240 I15604510F443 LEVEL: Warning
PID : 1368 TID : 4388 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : BOAUDIT
APPHDL : 0-16 APPID: *LOCAL.DB2.110516181453
AUTHID : DB2ADMIN
EDUID : 4388 EDUNAME: db2agent (BOAUDIT)
FUNCTION: DB2 UDB, base sys utilities, sqledint, probe:30
MESSAGE : Crash Recovery is needed.

...

2011-05-16-22.18.07.813000+240 E15609833F469 LEVEL: Warning
PID : 1368 TID : 4388 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : BOAUDIT
APPHDL : 0-16 APPID: *LOCAL.DB2.110516181453
AUTHID : DB2ADMIN
EDUID : 4388 EDUNAME: db2agent (BOAUDIT)
FUNCTION: DB2 UDB, recovery manager, sqlpresr, probe:3170
MESSAGE : ADM1531E Crash recovery has completed successfully.



Вот кусок лога для "поврежденной" базы когда она помечена как bad:


2011-05-16-23.29.16.028000+240 E15782606F984 LEVEL: Critical
PID : 1368 TID : 4508 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : BOAUDIT
APPHDL : 0-18 APPID: *LOCAL.DB2.110516181808
AUTHID : DB2ADMIN
EDUID : 4508 EDUNAME: db2agent (BOAUDIT)
FUNCTION: DB2 UDB, base sys utilities, sqeLocalDatabase::MarkDBBad, probe:10
MESSAGE : ADM14001C An unexpected and critical error has occurred:
"DBMarkedBad". The instance may have been shutdown as a result.
"Automatic" FODC (First Occurrence Data Capture) has been invoked and
diagnostic information has been recorded in directory
"C:\ProgramData\IBM\DB2\DB2COPY1\DB2\FODC_DBMarkedBad_2011-05-16-23.2
9.16.028000\". Please look in this directory for detailed evidence
about what happened and contact IBM support if necessary to diagnose
the problem.

2011-05-16-23.29.16.029000+240 I15783592F223 LEVEL: Error
PID:1368 TID:4420 NODE:000 Title: SQLP_LECB
Dump File:C:\ProgramData\IBM\DB2\DB2COPY1\DB2\FODC_DBMarkedBad_2011-05-16-23.29.16.028000\1368.4420.000.dump.bin

2011-05-16-23.29.16.033000+240 I15783817F223 LEVEL: Error
PID:1368 TID:4420 NODE:000 Title: SQLP_LECB
Dump File:C:\ProgramData\IBM\DB2\DB2COPY1\DB2\FODC_DBMarkedBad_2011-05-16-23.29.16.028000\1368.4420.000.dump.bin

2011-05-16-23.29.16.033000+240 E15784042F467 LEVEL: Severe
PID : 1368 TID : 4508 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : BOAUDIT
APPHDL : 0-18 APPID: *LOCAL.DB2.110516181808
AUTHID : DB2ADMIN
EDUID : 4508 EDUNAME: db2agent (BOAUDIT)
FUNCTION: DB2 UDB, base sys utilities, sqeLocalDatabase::MarkDBBad, probe:10
MESSAGE : ADM7518C "BOAUDIT " marked bad.




Что можно попытаться сделать с базой чтобы починить ее кроме восстановления из бэкапа?


Если это продуктивная система, тогда нужно обращаться IBM Support.
Если Вы можете выполнить соединение к базе BOAUDIT, тогда нужно
проверить ее целостность:
---------------------------
1. shut down the database.
2. db2dart BOAUDIT /DB
3. check the db2dart report.

Если где-то есть битые страницы, можно определить для какой таблицы или индекса.
Попытаться выгрузить данные проблемной таблицы или удалить проблемный индекс.
Далее, перестроить таблицу или индекс в другом tablespace и т.д.

С уважением,
Вадим.
17 май 11, 15:38    [10665432]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
GVF112GVF
Если это продуктивная система, тогда нужно обращаться IBM Support.
Если Вы можете выполнить соединение к базе BOAUDIT, тогда нужно
проверить ее целостность:
---------------------------
1. shut down the database.
2. db2dart BOAUDIT /DB
3. check the db2dart report.

Если где-то есть битые страницы, можно определить для какой таблицы или индекса.
Попытаться выгрузить данные проблемной таблицы или удалить проблемный индекс.
Далее, перестроить таблицу или индекс в другом tablespace и т.д.

С уважением,
Вадим.


Вы прямо как будто мое сообщение не читали, я ведь написал что проверка db2dart показала что база в порядке. База продуктивная, да, но без саппорта :( зато с бэкапом :)
17 май 11, 15:48    [10665519]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
mustaccio
Member

Откуда: Москва -> Торонто
Сообщений: 494
DB2
diagnostic information has been recorded in directory
"C:\ProgramData\IBM\DB2\DB2COPY1\DB2\FODC_DBMarkedBad_2011-05-16-23.2
9.16.028000\
". Please look in this directory for detailed evidence
about what happened
17 май 11, 15:57    [10665648]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
mustaccio,

В этом каталоге всего два файла и оба имеют расширение BIN, попробовал открыть текстовым редактором - там видимо двоичные данные, ничего не понятно.
17 май 11, 16:05    [10665727]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4947
Andron,

А можно все записи из db2diag.log после 'crash recovery is needed'?
17 май 11, 16:29    [10665990]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
GVF112GVF
Guest
Andron
GVF112GVF
Если это продуктивная система, тогда нужно обращаться IBM Support.
Если Вы можете выполнить соединение к базе BOAUDIT, тогда нужно
проверить ее целостность:
---------------------------
1. shut down the database.
2. db2dart BOAUDIT /DB
3. check the db2dart report.

Если где-то есть битые страницы, можно определить для какой таблицы или индекса.
Попытаться выгрузить данные проблемной таблицы или удалить проблемный индекс.
Далее, перестроить таблицу или индекс в другом tablespace и т.д.

С уважением,
Вадим.


Вы прямо как будто мое сообщение не читали, я ведь написал что проверка db2dart показала что база в порядке. База продуктивная, да, но без саппорта :( зато с бэкапом :)


Sorry, совсем замотался ... не обратил внимание на db2dart.

В логе есть что-то похожее - IC65093: DATABASE WAS MARKED BAD THE FOLLOWING STEP, IF THE CLIENT SEND BAD BUFFER.
https://www-304.ibm.com/support/docview.wss?uid=swg1IC65093

С уважением,
Вадим.
17 май 11, 16:43    [10666113]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Кусок лога с момента crash recovery во вложении

К сообщению приложен файл (db2diag.zip - 18Kb) cкачать
17 май 11, 16:47    [10666139]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4947
Andron
Кусок лога с момента crash recovery во вложении
Ну, здесь-то понятно, почему:

2011-05-16-23.29.15.389000+240 E15616573F611      LEVEL: Severe
PID : 1368 TID : 4420 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000
EDUID : 4420 EDUNAME: db2loggw (BOAUDIT)
FUNCTION: DB2 UDB, data protection services, sqlpgWriteToDisk, probe:1010
MESSAGE : ZRC=0x85100009=-2062548983=SQLP_NOSPACE
"Log File has reached its saturation point"
DIA8309C Log file was full.
DATA #1 : <preformatted>
Error getting next log file to write to. Filecount 13, active 13, inactive 4, tailindex 18446744073709551603 current
Record 8

Надо увеличить журнал транзакций или посмотреть, что со свободным местом на диске, где логи.

А пользователи-то соединяются с базой?
Если да, то приведите кусок db2diag.log после соединения с базой и до конца.
17 май 11, 17:10    [10666357]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Mark Barinstein,

Размеры журналов по 20 Мб, пользователи соединяются с базой, пока идет только чтение все работает, но при записи в опр.таблицу весь экземпляр падает. И что интересно, попробовал сделать экспорт - он завис на этой таблице через некоторое число выгруженных записей, висел несколько часов, пришлось его снять. Попробую удалить индексы на этой табле и снова ее экспортировать.
18 май 11, 08:50    [10669017]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Удалил индексы на этой таблице и попробовал ее экспортировать - экспорт прошел успешно. Похоже что побились индексы.
18 май 11, 09:14    [10669088]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4947
Andron
Mark Barinstein,

Размеры журналов по 20 Мб, пользователи соединяются с базой, пока идет только чтение все работает, но при записи в опр.таблицу весь экземпляр падает. И что интересно, попробовал сделать экспорт - он завис на этой таблице через некоторое число выгруженных записей, висел несколько часов, пришлось его снять. Попробую удалить индексы на этой табле и снова ее экспортировать.
Можно комадой inspect воспользоваться, она может ловить ошибки, которые не ловит db2dart:
Comparison of INSPECT and db2dart
18 май 11, 09:16    [10669097]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Andron
Удалил индексы на этой таблице и попробовал ее экспортировать - экспорт прошел успешно. Похоже что побились индексы.


Только вот не пойму зачем при экспорте данных нужны индексы? М.б. конечно они используются для выгрузки в определенном порядке.
18 май 11, 10:11    [10669281]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4947
Andron
Только вот не пойму зачем при экспорте данных нужны индексы? М.б. конечно они используются для выгрузки в определенном порядке.
План запроса смотреть надо.
18 май 11, 10:34    [10669426]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Причина поломки индексов в базе возможно в малом времени ожидания останова сервисов, база просто не успела остановится перед перезапуском Windows: в логе db2 на момент перезапуска винды нет сообщений о том что базы корректно остановлены. Увеличил время ожидания останова сервисов до 2 мин, посмотрим поможет или нет.
19 май 11, 08:48    [10675729]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Выяснили что причина совсем в другом а именно в обновлениях Windows. Когда в первый раз db2 упала, перед этим были установлены обновления Windows. После этого обновления откатили, база была запущена и работала нормально. Недавно снова решили их установить - и опять после установки обновлений база упала через несколько минут после запуска. Снова поломались индексы. Обновления Windows откатили, индексы пересоздал, база снова работает нормально.
На тестовой машине такое поведение воспроизвести пока не удалось.
15 июн 11, 10:08    [10814132]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Ivan Ivanich
Member

Откуда:
Сообщений: 187
Andron
Снова поломались индексы.


А реорганизация индексов не помогает?
15 июн 11, 10:16    [10814159]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
База мной настроена так, что индексы реорганизуются автоматически, поэтому думаю что вряд ли причина в этом.
15 июн 11, 10:27    [10814198]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Anka_S
Member

Откуда:
Сообщений: 203
Andron, если не секрет что за ОС? С какой разрядностью, файловой системой? Что в таблице на которой возникает "спотыкачь" какие типы данных? Что пишет сама ОС в Управление компьютером->Просмотр событий-> для Приложений /Системы если это конечно Windows.
15 июн 11, 20:00    [10818519]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
const64
Member

Откуда:
Сообщений: 784
Возможно, имеет значение тэблспейсы SMS или DMS, и если DMS - то контейнеры файлы или диски, отдельно ли индексы от данных, а также другие БД (которые нормально работают) лежат на этих-же дисках что и эта или на других...
16 июн 11, 07:01    [10819404]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Anka_S,

WindowsServer 2008 R2 64bit, типы данных varchar и integer

const64,

контейнер в котором лежат таблицы и индексы DMS
16 июн 11, 08:34    [10819510]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4947
Andron
Выяснили что причина совсем в другом а именно в обновлениях Windows. Когда в первый раз db2 упала, перед этим были установлены обновления Windows. После этого обновления откатили, база была запущена и работала нормально. Недавно снова решили их установить - и опять после установки обновлений база упала через несколько минут после запуска. Снова поломались индексы. Обновления Windows откатили, индексы пересоздал, база снова работает нормально.
На тестовой машине такое поведение воспроизвести пока не удалось.
В прошлый раз в db2diag.log я не смог найти записей о поломавшемся индексе, только о проблеме с метом для логов.
Как вы определили, что индексы поломались?
16 июн 11, 09:38    [10819759]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Mark Barinstein,

Сначала проверил базу с помощью db2dart и inspect, но они ничего подозрительного не нашли. Поскольку база падала в моменты записи данных приложением в определенные таблицы, решил попробовать удалить и пересоздать индексы на этих таблицах. Ничего не получилось - при попытке сделать drop index из консоли db2 управление вначале не возвращалось, а потом после нескольких попыток вообще возвратилась ошибка что то вроде "database marked bad", точный текст не могу привести. После этого откатил обновления на Windows, и снова попробовал удалить индексы, опять ничего не вышло. Запустил снова на эти таблицы db2dart он сказал что все в порядке, и о чудо - индексы после этого удалось пересоздать.
Вообще конечно может быть индексы и так были в порядке, может база после установки обновлений на винду стала некорректно с ними работать?
16 июн 11, 10:14    [10820007]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
И еще, почитайте что я писал когда база упала первый раз 10669017, т.е. даже после того как обновления откатили, все равно не удавалось даже читать данные из этих таблиц. Починить базу удалось только после пересоздания индексов.
16 июн 11, 10:25    [10820086]     Ответить | Цитировать Сообщить модератору
 Re: Падает db2  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4947
Andron
И еще, почитайте что я писал когда база упала первый раз 10669017, т.е. даже после того как обновления откатили, все равно не удавалось даже читать данные из этих таблиц. Починить базу удалось только после пересоздания индексов.
Никаких подтверждений этому (т.е. что были проблемы с чем-то ещё, кроме места для логов) из db2diag.log, который вы прикрепили, нет.
Если у вас есть новые записи в db2diag.log при падении базы - покажите.
16 июн 11, 10:41    [10820220]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Ответить