Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Новый топик    Ответить
 Как может быть такое, что за сутки архивных логов почти нет?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Пользователи утверждают, что работали с обычной интенсивностью, пропаж информации не видят.

 Op Obj Timestamp+Sequence Type Dev Earliest Log Current Log  Backup ID
 -- --- ------------------ ---- --- ------------ ------------ --------------
  X  D  20181205080807      1    D  S0054803.LOG C0000000      
 ----------------------------------------------------------------------------

 ----------------------------------------------------------------------------
    Comment: 
 Start Time: 20181205080807
   End Time: 20181206091145
     Status: A
 ----------------------------------------------------------------------------
  EID: 15438 Location: /home/db2inst/ARCHIVE/XXX/db2inst/XXX/NODE0000/C0000000/S0054803.LOG


Размер файла лога в разы меньше суммарного объема логов в среднем за день.
6 дек 18, 09:49    [21755363]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Впечатление, что логи были отключены на 1 день, по словам админов, они ничего не отключали.
6 дек 18, 09:52    [21755369]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
В DB2 архивные логи отключаются только переводом в циклический режим?
В таком случае sequence меняется?

Как-то можно вывести список всех команд DB2 типа zpool history?

db2 history вроде бы не показывает отключение и включение логов?


Что искать в db2diag.log?
6 дек 18, 11:24    [21755557]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4754
dbtwoshnick,

Изменения параметров из db2diag.log.
SELECT timestamp, auth_id, fullrec
FROM TABLE (PD_GET_DIAG_HIST('', '', '', current timestamp - 2 day, NULL)) AS T 
WHERE DBNAME=current server and COMPONENT='config/install'
order by timestamp;

Логи в DB2 не отключаются.
При переводе базы в циклическое журналирование нумерация логов сбрасывается (при этом изменения вступают в силу после деактивации базы), т.е. вы бы не увидели такого большого номера заархивированного лога после обратного включения архивного журналирования.
Размер заархивированного лога меньший, чем LOGFILSIZ (параметр базы в 4 KB страницах), может говорить о том, что он был заархивирован не после его полного заполнения, а, например, при деактивации базы, взятии онлайн архива с включением логов в него, выдачи команды archive log вручную.

Время активности базы:
db2pd -db mydb -
6 дек 18, 14:20    [21755825]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
Guzya
Member

Откуда:
Сообщений: 308
Может какая-нибудь длинная транзакция держит журналы и они пока не перевелись в архивное состояние.
Если правильно помню, для переключение журналов циклические\архивные надо бд останавливать.
6 дек 18, 14:21    [21755827]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2537
Да, смахивает на долгую незавершённую транзакцию. Вообще, если ночью работы не ведутся, рекомендую поставить на ночь в планировщик FORCE APPLICATION ALL в качестве лекарства от таких транзакций ("заметание мусора под ковёр"); иначе придётся искать вручную и убивать. На неприятности с ними очень легко налететь.
6 дек 18, 17:28    [21756155]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4754
Журналы в DB2 for LUW архивируются как только они заполняются. Если они всё ещё нужны для crash recovery, то они остаются в активном пути, что не мешает их архивировать (запись в эти файлы все равно не производится уже).
Т.е. файл журнала может быть заархивирован, но еще иметь активные транзакции.
6 дек 18, 17:46    [21756180]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
DB2 подвисла сутра, не принимала соединений, пришлось reset-нуть сервер (виртуальный).
Перед перезагрузкой я проверил бэкапы архивных логов и обнаружил, что их нет за последние сутки.
После перезагрузки сервера crash recovery прошел подозрительно быстро.
После этого архивные логи снова стали появляться, нумерация логов осталась прежней.
6 дек 18, 17:54    [21756191]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
Guzya
Member

Откуда:
Сообщений: 308
Может проблема с путем архивации (место\не было доступно\и т.д.).
6 дек 18, 19:32    [21756297]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Guzya
Может проблема с путем архивации (место\не было доступно\и т.д.).


С путями проблемы скорее всего не было, потому что оригиналы архивных логов (не их бэкапы) хранились на том же разделе, что и система, а система работала эти сутки без нареканий со стороны пользователей.
7 дек 18, 06:29    [21756560]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 971
dbtwoshnick
Guzya
Может проблема с путем архивации (место\не было доступно\и т.д.).


С путями проблемы скорее всего не было, потому что оригиналы архивных логов (не их бэкапы) хранились на том же разделе, что и система, а система работала эти сутки без нареканий со стороны пользователей.

Да запустил транзакцию без autocommit ("не навредить") и ушёл чай пить/вообще свалил. Логи стали копиться в фолдере активных.
num_log_span - отличное средство от такой беды.
7 дек 18, 14:08    [21757053]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
В среднем наработка новой информации за день 1ТБ, что мы и видим, например, 6 декабря, а где этот 1ТБ за 5 декабря?

https://pasteboard.co/HQClZHH.jpg
7 дек 18, 14:26    [21757081]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
Guzya
Member

Откуда:
Сообщений: 308
У Вас какая-то автоматизированная зада раз в час запускается?
7 дек 18, 15:07    [21757127]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 971
dbtwoshnick
В среднем наработка новой информации за день 1ТБ, что мы и видим, например, 6 декабря, а где этот 1ТБ за 5 декабря?

https://pasteboard.co/HQClZHH.jpg

В таком случае я бы поставил на "кто-то выставил опцию в приложении, проводить определённые транзакции (с LOB'ами?) без логирования".
Это если логирование лобов на уровне колонки не менялось.
"Стопудово" у вас весь этот трэш (объём логирования) - сбрасывание состояния объектов в базу.

У кого есть права на изменение DDL? У "всех" (DBADM привилегии у всем известной учётки приложения)?
7 дек 18, 23:50    [21757688]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 971
BTW Сейчас проверил, а как-то нету у нас "логирование лобов на уровне колонки _поменять_".
Могло сыграть изменение INLINE LENGTH, если логирование колонки с LOB объектом было отключено при создании таблицы/добавлении колонки.
8 дек 18, 00:16    [21757701]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Guzya
У Вас какая-то автоматизированная зада раз в час запускается?


Ежечасно происходит архивация логов, write suspend и снятие снэпшота базы

Бэкап логов происходит каждые 5 минут

zpool history НЕ показывает откатов

по словам пользователей потери инфы не было
8 дек 18, 07:10    [21757754]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
CawaSPb
dbtwoshnick
В среднем наработка новой информации за день 1ТБ, что мы и видим, например, 6 декабря, а где этот 1ТБ за 5 декабря?

https://pasteboard.co/HQClZHH.jpg

В таком случае я бы поставил на "кто-то выставил опцию в приложении, проводить определённые транзакции (с LOB'ами?) без логирования".
Это если логирование лобов на уровне колонки не менялось.
"Стопудово" у вас весь этот трэш (объём логирования) - сбрасывание состояния объектов в базу.

У кого есть права на изменение DDL? У "всех" (DBADM привилегии у всем известной учётки приложения)?


Админ дублер и ОЗИ. Пароль сложный. SSH говорят дырява даже с длинными ассиметричными ключами.
8 дек 18, 07:12    [21757755]     Ответить | Цитировать Сообщить модератору
 Re: Как может быть такое, что за сутки архивных логов почти нет?  [new]
Guzya
Member

Откуда:
Сообщений: 308
dbtwoshnick
Guzya
У Вас какая-то автоматизированная зада раз в час запускается?


Ежечасно происходит архивация логов, write suspend и снятие снэпшота базы

Бэкап логов происходит каждые 5 минут

zpool history НЕ показывает откатов

по словам пользователей потери инфы не было


Это я к тому, что если у Вас каждый час идет принудительная архивация логов (что видно за 4-е и 6-е число, исключая период 17:00 - 20:00), то у Вас
все равно должны были бы падать файлы логов в архив, пусть и почти пустые.
Т.е. 5-го числа как минимум отключали эту задачу (в период с 8:07 до ~9:10).
8 дек 18, 09:08    [21757762]     Ответить | Цитировать Сообщить модератору
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Ответить