Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Firebird, InterBase Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 Запись видна при выборке по индексу, но не видна при NATURAL  [new]
sysdba22
Member

Откуда:
Сообщений: 206
Может натолкнет на какую мысль.

Имеем уже третий раз такую ситуацию: запись видна в выборке, если таблица подключается по индексу
и не видна, если идет NATURAL скан. Соответственно, такие записи не попадают в бэкап и потом получаются
ошибки и невосстановимые внешние ключи.

Лечится gfix -mend. Потом делаем бэкап-рестор, но, иногда между мендом и бэкап-рестором проходит 2-3 недели
из-за технологических особенностей предприятия.

ФБ 3. самые последние билды.

Что этому предшествует точно непонятно. Железо надежное, FW = on. Но, редко происходят ситуации с зависанием
файреберда, когда он грузит все процессоры и ядра на 100%. Тогда снимают задачу...

Недавно обнаружили в логе такие записи:

SERVER2 Fri Jul 12 11:46:22 2019
Database: ...FDB
internal Firebird consistency check (missing pointer page in DPM_data_pages (243), file: dpm.cpp line: 774)


SERVER2 Fri Jul 12 11:46:22 2019
I/O error during "WriteFile" operation for file "...FDB"
Error while trying to write to file
Неверный дескриптор.
18 июл 19, 11:30    [21929249]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
hvlad
Member

Откуда:
Сообщений: 10531
sysdba22
Лечится gfix -mend
-mend тут не нужен. -v -full делали ? Его должно быть достаточно, если это то, о чём я думаю.

sysdba22
Но, редко происходят ситуации с зависанием
файреберда, когда он грузит все процессоры и ядра на 100%. Тогда снимают задачу...
Дамп надо снимать, а не задачу...
18 июл 19, 11:52    [21929284]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
sysdba22
Member

Откуда:
Сообщений: 206
-v -full делали


следующий раз попробуют.

еженочно на базе делается gbak со сборкой мусора и gfix -sweep.
18 июл 19, 11:58    [21929295]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
hvlad
Member

Откуда:
Сообщений: 10531
sysdba22,

а что пишется в лог во время валидации ?
18 июл 19, 12:06    [21929308]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
sysdba22
Member

Откуда:
Сообщений: 206
hvlad,

пишет, что найдено пару инвалидных страниц. а вот каких точно уже не вспомнят. данных, индексов...
18 июл 19, 12:17    [21929323]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48163

sysdba22
запись видна в выборке, если таблица подключается по индексу
и не видна, если идет NATURAL скан.

Это странно. Обычно бывает наоборот.

Posted via ActualForum NNTP Server 1.5

18 июл 19, 12:24    [21929336]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
hvlad
Member

Откуда:
Сообщений: 10531
sysdba22
hvlad,

пишет, что найдено пару инвалидных страниц. а вот каких точно уже не вспомнят. данных, индексов...
Там что - потерялся firebird.log ?

В любом случае - нужно воспроизводить проблему.
И для того, чтобы исправить, и для того, чтобы проверить исправление.
Насколько мне известно, она может проявляться в сценарии когда в таблицу заливают данные, потом их удаляют и так по кругу многократно. 3-ка SS.
18 июл 19, 13:27    [21929399]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
sysdba22
Member

Откуда:
Сообщений: 206
в Firebird log из подозрительного только эти записи, которые я привел выше.
18 июл 19, 14:01    [21929433]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28117
sysdba22
делается gbak со сборкой мусора

я не ослышался? Должно быть наоборот, без сборки мусора.
18 июл 19, 14:03    [21929434]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28117
sysdba22
пишет, что найдено пару инвалидных страниц. а вот каких точно уже не вспомнят. данных, индексов...

открою секрет - gfix при "починке" БД в консоль выводит общую информацию, а детально по каждому повреждению - в firebird.log.
поэтому там должно быть всё, что нашел gfix.
18 июл 19, 14:05    [21929437]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
hvlad
Member

Откуда:
Сообщений: 10531
sysdba22
в Firebird log из подозрительного только эти записи, которые я привел выше.
Где ?
18 июл 19, 14:43    [21929479]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
sysdba22
Member

Откуда:
Сообщений: 206
SERVER2 Fri Jul 12 11:46:22 2019
Database: ...FDB
internal Firebird consistency check (missing pointer page in DPM_data_pages (243), file: dpm.cpp line: 774)


SERVER2 Fri Jul 12 11:46:22 2019
I/O error during "WriteFile" operation for file "...FDB"
Error while trying to write to file
Неверный дескриптор.
18 июл 19, 15:41    [21929550]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
hvlad
Member

Откуда:
Сообщений: 10531
sysdba22,

я спросил про записи в логе, созданные валидацией (когда запускали gfix).
И не нужно говорить, что их там нет или что они не подозрительные :)
18 июл 19, 16:35    [21929589]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
Mike_gs94
Member

Откуда:
Сообщений: 11
Они там есть :)
И их там много.

Есть такие :
SERVER2 Sun Jul 14 14:59:37 2019
Database: E:\DATA_BASE\GDBASE2.FDB
Warning: Page 21227633 has SCN 162 while at SCN's page it is 171


SERVER2 Sun Jul 14 14:59:37 2019
Database: E:\DATA_BASE\GDBASE2.FDB
Warning: Page 21227612 has SCN 162 while at SCN's page it is 171


SERVER2 Sun Jul 14 14:59:37 2019
Database: E:\DATA_BASE\GDBASE2.FDB
Warning: Relation has 5 orphan backversions {0 in use} in table RDB$RELATIONS (6)


SERVER2 Sun Jul 14 14:59:39 2019
Database: E:\DATA_BASE\GDBASE2.FDB
Warning: Pointer page 8788548 {sequence 177} bits {0x09 full, secondary} are not consistent with data page 21337847 {sequence 290415} state {0x08 secondary} in table USR$INV_SELLBILLLINE (151)

SERVER2 Sun Jul 14 15:13:39 2019
Database: E:\DATA_BASE\GDBASE2.FDB
Warning: Page 25732861 is an orphan

SERVER2 Sun Jul 14 15:07:03 2019
Database: E:\DATA_BASE\GDBASE2.FDB
Warning: Index 42 has inconsistent left sibling pointer, page 22238756 level 1 at offset 5612 in table AC_ENTRY (280)
18 июл 19, 16:41    [21929595]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
hvlad
Member

Откуда:
Сообщений: 10531
Mike_gs94,

Error там есть ? Не Warning
18 июл 19, 16:46    [21929599]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
Mike_gs94
Member

Откуда:
Сообщений: 11
SERVER2 Sun Jul 14 15:01:15 2019
Database: E:\DATA_BASE\GDBASE2.FDB
Error: Data page 26079849 {sequence 1312961} marked as secondary but contains primary record versions in table GD_DOCUMENT (202)


SERVER2 Sun Jul 14 15:01:15 2019
Database: E:\DATA_BASE\GDBASE2.FDB
Error: Data page 26083650 {sequence 1313074} marked as secondary but contains primary record versions in table GD_DOCUMENT (202)


SERVER2 Sun Jul 14 15:07:42 2019
Database: E:\DATA_BASE\GDBASE2.FDB
Error: Index 49 is corrupt {missing entries for record 962422561} in table AC_ENTRY (280)
18 июл 19, 17:00    [21929620]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
hvlad
Member

Откуда:
Сообщений: 10531
Mike_gs94
Error: Data page ... marked as secondary but contains primary record versions
Вот эти две ошибки и есть то, о чём я думаю.
Лечится gfix'ом.
Очень хочется воспроизвести, но никто пока не смог этого сделать.

Mike_gs94
Error: Index 49 is corrupt {missing entries for record 962422561} in table AC_ENTRY (280)
А это - то, о чём писал DS.
Нужно перестроить этот индекс.
Или сначала проверить ещё раз после свипа, тут может быть и ложная тревога.
18 июл 19, 19:14    [21929688]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28117
Mike_gs94
Index 49 is corrupt

49 индексов на табличке AC_ENTRY? мощно...
18 июл 19, 23:18    [21929804]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
sysdba22
Member

Откуда:
Сообщений: 206
там их и больше должно быть. это внешние ключи. причем сама табличка содержит десятки миллионов записей.
19 июл 19, 09:58    [21929996]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
sysdba22
Member

Откуда:
Сообщений: 206
опять такая ситуация появилась. запись видна при считывании по индексу и не видна при натурал скан. можем ли мы как-то помочь, чтобы выявить эту ошибку?
16 авг 19, 11:40    [21950868]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9831
sysdba22,

- нужна информация что делалось с таблицей в которой косяк
- конфигурация

после чего соорудить тестовую базу и попробовать воспроизвести проблему. Ну не знаю приложение написать (возможно многопоточное) или на isql скрипты в нескольких процессах запустить.
16 авг 19, 11:44    [21950870]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2929
sysdba22, где-нибудь в бизнес-логике или запросах используются регулярные выражения ФБ (SIMILAR TO)?
16 авг 19, 11:47    [21950877]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9831
rdb_dev,

они тут не причём. Речь о порче БД
16 авг 19, 11:52    [21950879]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
hvlad
Member

Откуда:
Сообщений: 10531
sysdba22
опять такая ситуация появилась. запись видна при считывании по индексу и не видна при натурал скан
Валидация говорит то же самое (Data page ... marked as secondary but contains primary record versions in table) ?

sysdba22
можем ли мы как-то помочь, чтобы выявить эту ошибку?
Воспроизвести самостоятельно или дать достаточно инф-ции чтобы я мог создать воспроизводимый пример
16 авг 19, 12:11    [21950903]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2929
Симонов Денис
rdb_dev,
они тут не причём. Речь о порче БД
Мне показалось, что речь о порче БД после киляния процесса сервера, перестающего отвечать и грузящего процессор на 100%. Использование регулярный выражений ФБ вполне может повлечь подобные симптомы.
16 авг 19, 13:33    [21951004]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 8347
rdb_dev
Мне показалось
а потом почудилось, а потом привиделось... можно флудить в сторонке?
16 авг 19, 14:01    [21951045]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
Vlad F
Member

Откуда:
Сообщений: 874
А что все так сразу набросилось? Может, чувак дело говорит.))
Пусть лучше топикастер ответит.
И дополнительный вопрос мог бы звучать так, - продолжались ли тем временем периодические киляния сервера?
16 авг 19, 14:20    [21951063]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
Arioch
Member

Откуда:
Сообщений: 10967
hvlad
Очень хочется воспроизвести, но никто пока не смог этого сделать.


а нельзя например эту проверку встроить в запись страницы БД в кэш или на диск ?

пусть сервер сразу какую сможет статистику сбрасывает в лог и "ложится".

есть шанс, что какое бы событие не было триггером, оно случилос ьнедавно и по горчим следам может быть вспомнено. Или уже в статистике что-то аномальное будет
16 авг 19, 16:15    [21951183]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
Arioch
Member

Откуда:
Сообщений: 10967
....и часто ли бывают rollback'и ?
16 авг 19, 16:17    [21951189]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2929
Ivan_Pisarevsky
rdb_dev
Мне показалось
а потом почудилось, а потом привиделось... можно флудить в сторонке?
Ты чересчур категоричен. 21904326
16 авг 19, 16:39    [21951221]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 8347
rdb_dev
категоричен
Не надо сваливать все в одну кучу, задуматься на чтение сервер может по миллиону причин.

Чуть позже флуд зачищу.
16 авг 19, 16:59    [21951264]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
sysdba22
Member

Откуда:
Сообщений: 206
Пока ничем не поможем. База загружена 24/7, более трехсот пользователей, кто и что приводит к такой ошибке, какой порядок действий установить не представляется возможным. Пока, выявили на восстановлении -- исправили (удалили, вставили по новой) данную запись на рабочей базе. Дальше будем наблюдать.
20 авг 19, 17:50    [21953711]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
hvlad
Member

Откуда:
Сообщений: 10531
sysdba22,

ежедневная валидация вам нужна. Или даже чаще.
Для начала.
И нужно понимать есть ли связь с убиением процесса сервера.
20 авг 19, 18:13    [21953724]     Ответить | Цитировать Сообщить модератору
 Re: Запись видна при выборке по индексу, но не видна при NATURAL  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2929
Ivan_Pisarevsky
Не надо сваливать все в одну кучу, задуматься на чтение сервер может по миллиону причин.
Задумываться на чтение или жрать процессор?
21 авг 19, 11:02    [21954110]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2      [все]
Все форумы / Firebird, InterBase Ответить