Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 DB/2. Online BackUp не дорабатывает до конца.  [new]
Начинающий дибитуст
Guest
Всем привет!

Сразу скажу - с DB/2 дел иметь не приходилось. Как-то больше Oracle администрирую. Но на днях коллеги обратились с просьбой: "помоги разобраться, почему DB/2 не может успешно завершить выполнение задания по резервному копированию. Ты же оракл админишь. В DB/2, наверное, всё примерно также" (с) :)

Попробовал посмотреть - всё там по другому ;)

Итак, что есть в наличии:
Есть сервер. На нем в рамках одного "инстанса" DB/2 (Database server = DB2/AIX64 9.7.7) крутится 7 независимых баз. В кроне операционной системы настроено задание по онлайн резервному копированию этих баз. Скрипт задания представляет собой цикл, в котором поочередно перебираются базы и для каждой выполняется команда:
 db2 backup database <имя базы> online to  <путь сохранения файлов> compress include logs
.

До недавних пор всё успешно работало. С некоторых пор перестало работать, выдавая при этом ошибку:
SQL1224N
The database manager is not able to accept new requests, 
has terminated all requests in progress, or has terminated the specified request 
because of an error or a forced interrupt. 
SQLSTATE=55032
.
Причем, не работает исключительно для одной базы (она самая большая, и в цикле обрабатывается в последнюю очередь). Для остальных отрабатывает успешно. Однако, если изменить порядок обработки баз и выставить на первое место самую большую (проблемную) базу, то перестают работать и для остальных баз тоже. Если вручную из командной строки выполнять команду бэкапирования, то успешно проходит и для проблемной базы. При этом время, затрачиваемое на резервирование занимает порядка 40 минут. В кроне же обрыв выполнения задачи случается на десятой-пятнадцатой минуте процесса бэкапирования большой базы.

Собственно вопрос - куда смотреть и что делать, чтобы восстановить работоспособность механизма резервного копирования?
22 сен 16, 06:55    [19694597]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
mitek
Member

Откуда:
Сообщений: 605
Начинающий дибитуст,

Смотреть в db2diag.log
22 сен 16, 07:16    [19694606]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
Может, там ночью крон пускает другой скрипт, с чем-нибудь наподобие db2 force application all?
22 сен 16, 10:59    [19695351]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1011
Или не только force application ....

Online backup совместим не со всеми операциями.
Compatibility of online backup and other utilities
22 сен 16, 11:19    [19695490]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
Начинающий дибитуст
Guest
Victor Metelitsa,

Нет, в кронтабе висит ровно одно задание. В акуурат с онлайн бэкапом баз. Других настроенных заданий нет.
Более того, если изменить время запуска и запускать, к примеру, ранним вечером (18:00 например), а не в 01:00, как оно настроено сейчас, то задание успешно себе отрабатывает...
22 сен 16, 11:21    [19695503]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
Начинающий дибитуст
Guest
CawaSPb,

Из всего там перечисленного могло иметь место только разве RUNSTATS.
И то, если оно запускается из внутреннего планировщика базы (аналог оракловых JOB и SCHEDULER есть в DB2 ?), а не из ОС.
Как посмотреть настроенные задания внутри базы?
22 сен 16, 11:24    [19695545]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
mitek
Member

Откуда:
Сообщений: 605
Начинающий дибитуст
Как посмотреть настроенные задания внутри базы?


SELECT * FROM SYSTOOLS.ADMINTASKS

в диаглоге-то что говорят ?
22 сен 16, 11:39    [19695712]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1011
PS Недавно вопрос поднимался, как посмотреть историю вызовов утилит.

Гляньте на всякий случай по проблемной базе:
select * from SYSIBMADM.DB_HISTORY
22 сен 16, 12:20    [19696059]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
Начинающий дибитуст
Guest
mitek,

в диаглоге примерно следующее:

+ db2diag.log
2016-09-20-00.44.07.077547+420 E1920922745A475    LEVEL: Info
PID     : 39780552             TID  : 83848       PROC : db2sysc 0
INSTANCE: db2inst1             NODE : 000         DB   : BSMDB
APPHDL  : 0-24458              APPID: *LOCAL.db2inst1.160828214114
AUTHID  : DB2INST1
EDUID   : 83848                EDUNAME: db2agent (BSMDB) 0
FUNCTION: DB2 UDB, database utilities, sqluxGetDegreeParallelism, probe:774
DATA #1 : <preformatted>
Autonomic BAR - using parallelism = 5.

2016-09-20-00.44.07.242511+420 E1920923221A512    LEVEL: Info
PID     : 39780552             TID  : 83848       PROC : db2sysc 0
INSTANCE: db2inst1             NODE : 000         DB   : BSMDB
APPHDL  : 0-24458              APPID: *LOCAL.db2inst1.160828214114
AUTHID  : DB2INST1
EDUID   : 83848                EDUNAME: db2agent (BSMDB) 0
FUNCTION: DB2 UDB, database utilities, sqluxGetAvailableHeapPages, probe:888
DATA #1 : <preformatted>
Autonomic BAR - heap consumption.
Targetting (50%) - 30608 of 61216 pages.

2016-09-20-00.44.07.242661+420 E1920923734A502    LEVEL: Info
PID     : 39780552             TID  : 83848       PROC : db2sysc 0
INSTANCE: db2inst1             NODE : 000         DB   : BSMDB
APPHDL  : 0-24458              APPID: *LOCAL.db2inst1.160828214114
AUTHID  : DB2INST1
EDUID   : 83848                EDUNAME: db2agent (BSMDB) 0
FUNCTION: DB2 UDB, database utilities, sqlubTuneBuffers, probe:1139
DATA #1 : <preformatted>
Autonomic backup - tuning enabled.
Using buffer size = 1793, number = 10.

2016-09-20-00.44.07.367088+420 E1920924237A447    LEVEL: Info
PID     : 39780552             TID  : 83848       PROC : db2sysc 0
INSTANCE: db2inst1             NODE : 000         DB   : BSMDB
APPHDL  : 0-24458              APPID: *LOCAL.db2inst1.160828214114
AUTHID  : DB2INST1
EDUID   : 83848                EDUNAME: db2agent (BSMDB) 0
FUNCTION: DB2 UDB, database utilities, sqlubSetupJobControl, probe:1604
MESSAGE : Starting an online db backup.

2016-09-20-00.46.01.523010+420 E1920928095A484    LEVEL: Warning
PID     : 1049010              TID  : 772         PROC : db2acd 0
INSTANCE: db2inst1             NODE : 000
EDUID   : 772                  EDUNAME: db2acd 0
FUNCTION: DB2 UDB, Health Monitor, HealthIndicator::update, probe:500
MESSAGE : ADM10502W  Health indicator "Table Space Operational State"
          ("ts.ts_op_status") is in state "Backup in progress" on "table space"
          "db2inst1.BSMDB    .DATA1_TS".

2016-09-20-00.46.01.523700+420 E1920928580A485    LEVEL: Warning
PID     : 1049010              TID  : 772         PROC : db2acd 0
INSTANCE: db2inst1             NODE : 000
EDUID   : 772                  EDUNAME: db2acd 0
FUNCTION: DB2 UDB, Health Monitor, HealthIndicator::update, probe:500
MESSAGE : ADM10502W  Health indicator "Table Space Operational State"
          ("ts.ts_op_status") is in state "Backup in progress" on "table space"
          "db2inst1.BSMDB    .INDEX1_TS".

2016-09-20-00.46.01.524406+420 E1920929066A485    LEVEL: Warning
PID     : 1049010              TID  : 772         PROC : db2acd 0
INSTANCE: db2inst1             NODE : 000
EDUID   : 772                  EDUNAME: db2acd 0
FUNCTION: DB2 UDB, Health Monitor, HealthIndicator::update, probe:500
MESSAGE : ADM10502W  Health indicator "Table Space Operational State"
          ("ts.ts_op_status") is in state "Backup in progress" on "table space"
          "db2inst1.BSMDB    .BSMDATA_TS".

2016-09-20-00.46.01.524878+420 E1920929552A486    LEVEL: Warning
PID     : 1049010              TID  : 772         PROC : db2acd 0
INSTANCE: db2inst1             NODE : 000
EDUID   : 772                  EDUNAME: db2acd 0
FUNCTION: DB2 UDB, Health Monitor, HealthIndicator::update, probe:500
MESSAGE : ADM10502W  Health indicator "Table Space Operational State"
          ("ts.ts_op_status") is in state "Backup in progress" on "table space"
          "db2inst1.BSMDB    .BSMINDEX_TS".

2016-09-20-00.54.15.470078+420 E1920962007A425    LEVEL: Severe
PID     : 39780552             TID  : 83848       PROC : db2sysc 0
INSTANCE: db2inst1             NODE : 000         DB   : BSMDB
APPHDL  : 0-24458              APPID: *LOCAL.db2inst1.160828214114
AUTHID  : DB2INST1
EDUID   : 83848                EDUNAME: db2agent (BSMDB) 0
FUNCTION: DB2 UDB, database utilities, sqlubcka, probe:911
MESSAGE : Backup terminated.


2016-09-20-00.54.15.613099+420 E1920962433A375    LEVEL: Info
PID     : 39780552             TID  : 15422       PROC : db2sysc 0
INSTANCE: db2inst1             NODE : 000
EDUID   : 15422                EDUNAME: db2logmgr (BSMDB) 0
FUNCTION: DB2 UDB, data protection services, sqlpgArchiveLogFile, probe:3108
DATA #1 : <preformatted>
Started archive for log file S0120076.LOG.

2016-09-20-00.54.15.743502+420 E1920962809A456    LEVEL: Info
PID     : 39780552             TID  : 15422       PROC : db2sysc 0
INSTANCE: db2inst1             NODE : 000
EDUID   : 15422                EDUNAME: db2logmgr (BSMDB) 0
FUNCTION: DB2 UDB, data protection services, sqlpgArchiveLogFile, probe:3180
DATA #1 : <preformatted>
Completed archive for log file S0120076.LOG to /archivelog/db2inst1/BSMDB/NODE0000/C0000001/ from /activelog/BSMDB/NODE0000/.

2016-09-20-00.54.15.817757+420 I1920964190A454    LEVEL: Warning
PID     : 1049010              TID  : 772         PROC : db2acd 0
INSTANCE: db2inst1             NODE : 000
EDUID   : 772                  EDUNAME: db2acd 0
FUNCTION: DB2 UDB, Health Monitor, HmonMainCB::refreshDbAutonomicSwitches, probe:160
MESSAGE : Failed connecting to database "BSMDB    "
DATA #1 : Hexdump, 4 bytes
0x0000000110556EA4 : FFFF E86C


2016-09-20-00.54.16.025390+420 E1920967024A375    LEVEL: Info
PID     : 39780552             TID  : 15422       PROC : db2sysc 0
INSTANCE: db2inst1             NODE : 000
EDUID   : 15422                EDUNAME: db2logmgr (BSMDB) 0
FUNCTION: DB2 UDB, data protection services, sqlpgArchiveLogFile, probe:3108
DATA #1 : <preformatted>
Started archive for log file S0120076.LOG.


В логе задания с кронтаба:

+ лог задания бэкапирования
------DB BSMDB  is being backed up  on: 2016-09-20:00:44:07 -----

   Database Connection Information

Database server        = DB2/AIX64 9.7.7
SQL authorization ID   = DB2INST1
Local database alias   = BSMDB

db2 backup database BSMDB online to  /dbbackup/db compress include logs
SQL1224N  The database manager is not able to accept new requests, has 
terminated all requests in progress, or has terminated the specified request 
because of an error or a forced interrupt.  SQLSTATE=55032
23 сен 16, 07:51    [19698878]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
knudsen
Member

Откуда: Москва
Сообщений: 311
Начинающий дибитуст,

а места хватает для бэкапа и логов?
23 сен 16, 10:04    [19699172]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
Начинающий дибитуст
Guest
knudsen,

места на дисковой подсистеме достаточно. Если вручную запустить скрипт создания бэкапа, то всё успешно отрабатывает. Если запускать кронтабом в другое время - тоже всё успешно отрабатывает. Потому и интересно - что же именно мешает процессу отработать в проблемный интервал времени.
23 сен 16, 10:10    [19699190]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
mitek
Member

Откуда:
Сообщений: 605
Начинающий дибитуст
mitek,

в диаглоге примерно следующее:


мда...не сильно информативно
в db2inst1.nfy за это время есть что-нибудь ?
23 сен 16, 12:38    [19700029]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1011
BTW Задрать diaglevel до 4-х и проследить, что будет в логе в следующий раз.

В скрипте непосредственно после бэкапа посмотреть, что там в этот момент работает:
1. Поднять упавший коннект.
2. Сбросить куда-нибудь результат "select * from TABLE(MON_GET_UTILITY, -1))"
23 сен 16, 13:03    [19700180]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
наобум
Guest
Начинающий дибитуст,

db2 terminate после каждого бэкапа
23 сен 16, 13:46    [19700472]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Тоже недавно начал применять Online бэкапы, но в рабочее время под нагрузкой уже второй раз (из двух) прошел неуспешно.

Неспешно шел до 99%, все работало нормально, а после 99% он видимо начал собирать логи для "include logs" и наложил блокировки, чтобы собрать эти логи.

Соответственно в db2top U стало красным красно и продолжалось такое минут 10.
Потом мне надоело ждать, я сделал force application блокирующего приложения (кстати оно было НЕ db2xxx, а от вебсферы)
Но оно не снялось почти мгновенно как обычно, а пошел процесс отката огромной 5Гб транзакции, который продолжался еще минут 20. В результате ни бэкапа ни работы пользователей.

На меньшей нагрузке проходит нормально, особенно сутра, когда еще не все "проснулись".
23 сен 16, 14:05    [19700576]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
do as I say, not as I do
Guest
dbtwoshnick
Тоже недавно начал применять Online бэкапы, но в рабочее время под нагрузкой уже второй раз (из двух) прошел неуспешно.

true jedy
23 сен 16, 15:14    [19701067]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2549
А, include logs. По мне, так лучше этим не пользоваться. Следить за логами самостоятельно.

SELECT 
  timestamp(start_time) start_time, 
  timestamp(end_time)   end_time,
  substr(firstlog,1,20) firstlog,
  (select timestamp(min(X.start_time))
   from SYSIBMADM.DB_HISTORY X
   where B.firstlog=x.firstlog
     and X.operation='X') firstlog_time,
  substr(lastlog,1,20) lastlog,
  (select timestamp(min(X.start_time))
   from SYSIBMADM.DB_HISTORY X
   where B.lastlog=x.firstlog
     and X.operation='X') lastlog_time,
  b.location
FROM SYSIBMADM.DB_HISTORY B
where operation='B'
order by 1 desc
23 сен 16, 15:15    [19701069]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4876
dbtwoshnick
Тоже недавно начал применять Online бэкапы, но в рабочее время под нагрузкой уже второй раз (из двух) прошел неуспешно.

Неспешно шел до 99%, все работало нормально, а после 99% он видимо начал собирать логи для "include logs" и наложил блокировки, чтобы собрать эти логи.

Соответственно в db2top U стало красным красно и продолжалось такое минут 10.
Потом мне надоело ждать, я сделал force application блокирующего приложения (кстати оно было НЕ db2xxx, а от вебсферы)
Но оно не снялось почти мгновенно как обычно, а пошел процесс отката огромной 5Гб транзакции, который продолжался еще минут 20. В результате ни бэкапа ни работы пользователей.
И что, архивирующая сессия ждала на блокировке?
Что же такое делало это вебсферное приложение?
23 сен 16, 18:29    [19702071]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Mark Barinstein
И что, архивирующая сессия ждала на блокировке?
Что же такое делало это вебсферное приложение?


не знаю :(
23 сен 16, 18:47    [19702116]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Victor Metelitsa
А, include logs. По мне, так лучше этим не пользоваться. Следить за логами самостоятельно.


Можно узнать почему?
24 сен 16, 09:23    [19703694]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
и еще такой вопрос:

архивными логами можно докатываться с любого последнего бэкапа, сделанного в режиме архивирования логов, или только с последнего?

т.е. если сделаны бэкапы и хранятся все архивные логи за длительный период времени, охватывающий все бэкапы и работу после них до текущего момента времени:

включили опцию trackmod on

backup1 - offline full

немного поработали в приложении

backup2 - online full, прошел с ошибкой или прерван, не завершился

немного поработали в приложении

backup3 - offline delta

немного поработали в приложении

backup4 - online delta

backup5 - online full

немного поработали в приложении и пришли в некоторое текущее состояние.

то можно восстановиться из любого бэкапа кроме backup2 и потом докатиться логами за несколько дней до текущего состояния?
или можно докатиться логами до текущего состояния только после восстановления из последнего backup5 ?
24 сен 16, 10:28    [19703753]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4876
dbtwoshnick,

Восстанавливаться можно из любого набора:

backup1
backup1 + backup3
backup1 + backup3 + backup4
backup5

К любому из этих наборов должны быть доступны все логи после крайнего в наборе архива до конца.
24 сен 16, 11:22    [19703781]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Установил для базы XXX:

Track modified pages (TRACKMOD) = YES

Выполнил успешно full offline backup

Запустил дельту

Получил:
ADM8005W


2016-09-24-17.17.22.541450+300 E41947550E589       LEVEL: Warning
PID     : 3933                 TID  : 140398827661056PROC : db2sysc
INSTANCE: db2inst              NODE : 000          DB   : XXX
APPHDL  : 0-268                APPID: *LOCAL.db2inst.160924121720
AUTHID  : ROOT    
EDUID   : 207                  EDUNAME: db2agent (XXX)
FUNCTION: DB2 UDB, database utilities, sqlubBuildAppTbsp, probe:1612
MESSAGE : ADM8005W  Incremental backup was not enabled for table space 
          "SYSCATSPACE" (ID "0").  A non-incremental backup of this table space 
          is required.


Что я сделал неправильно?
24 сен 16, 15:50    [19704134]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
http://database.ittoolbox.com/groups/technical-functional/db2-l/incremental-backup-issues-2935117

re-cycle the instance and take full offline backup , then try delta or
increamental backup 


re-cycle the instance - это db2stop; db2start ?
24 сен 16, 15:59    [19704147]     Ответить | Цитировать Сообщить модератору
 Re: DB/2. Online BackUp не дорабатывает до конца.  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
перезапустил DB2, дельта бэкап начал работать

какая же все таки капризная эта шарманка,

надеюсь, преимущества перевешивают некоторые баги

или это я что-то делаю не так?
24 сен 16, 16:07    [19704160]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Ответить