Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
 Отваливается acfs раздел ASM от второй ноды  [new]
MaxGSS
Member

Откуда:
Сообщений: 7
Добрый день всем. Странная ситуация, помогите разобраться, может кто сталкивался.
Конфигурация: Oracle 12.2.0, Oracle Linux 7, двухнодовый RAC, ASM.
На обеих нодах подключены acfs диски ASM (2шт.), помимо дисковых групп ASM, прямо к системе Linux, на эти разделы падают архивные логи и раз в неделю удаляются вместе с бэкапом RMAN.
Работает эта конфигурация чуть больше полугода, но последние две недели от второй ноды отваливаются acfs диски, вместе с этим перезапускается инстанс асма и самой базы на этой ноде.
В многочисленных логах информации не слишком много, а полезной почти нет.
Alert ASM:
note asmb process exiting either shutdown is in progress or foreground connected to asmb was killed

asmb0 clearing iddle groups before exit

Alert Oracle:
Deffered communication with ASM instance

deferred map free for map id 95011

terminating the instance due to error 501

starting Oracle instance (normal)


Отвал происходит раз в 4-7 дней.
9 апр 19, 11:24    [21856884]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
Vivat!San
Member

Откуда: Отсюда не возвращаются
Сообщений: 580
ORA-600 там рядом нигде нет?
9 апр 19, 11:36    [21856897]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
MaxGSS
Member

Откуда:
Сообщений: 7
Нет, ошибок ORA вообще не зафиксировано ни в одном трэйсе Grid`a и Oracl`a
9 апр 19, 12:04    [21856942]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
MaxGSS
Member

Откуда:
Сообщений: 7
Vivat!San,
Нет, ошибок ORA вообще не зафиксировано ни в одном трэйсе Grid`a и Oracl`a
9 апр 19, 12:07    [21856945]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
MaxGSS
Member

Откуда:
Сообщений: 7
Vivat!San,
Единственная ошибка, которую удалось найти:
ADVMK-0017 ASM Instance has FAILED
9 апр 19, 13:20    [21857055]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
Sal
Member

Откуда:
Сообщений: 1573
надо все таки наверное тщательнее логи посмотреть
что например в /var/log/messages
может что то с дисками как в
ACFS Unmounting with error ORA-15130 (Doc ID 1541330.1)
или сетью
ACFS Crashing Due to Wrong Network Interface Configuration (Doc ID 1506752.1)
9 апр 19, 14:08    [21857152]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
MaxGSS
Member

Откуда:
Сообщений: 7
Sal,
Apr  9 11:43:53 node2 kernel: ADVMK-0017: The ASM instance terminated unexpectedly. All ADVM volumes will be taken offline.
Apr  9 11:43:53 node2 kernel: ACFSK-0029: Volume /dev/asm/backu is now offline
Apr  9 11:43:53 node2 kernel: ACFSK-0029: Volume /dev/asm/backup2 is now offline
Apr  9 11:43:53 node2 kernel: ACFSK-0030: ASM Instance has Failed.
Apr  9 11:43:53 node2 kernel: ADVMK-0019: Volume backup2 in disk group BACKUP was taken offline, all attempts to read or write to this volume will fail.
Apr  9 11:43:53 node2 kernel: ADVMK-0019: Volume backup in disk group BACKUP2 was taken offline, all attempts to read or write to this volume will fail.


Вот что в логах message на момент падения.

В остальных логах нет ошибок, все по типу instance terminated, без указания на конкретную ошибку.
С сетью проблем нет, MTU увеличивали как рекомендует оракл.
10 апр 19, 05:59    [21857864]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
Vadim Lejnin
Member

Откуда:
Сообщений: 6699
MaxGSS,

А что говорит dmesg?
10 апр 19, 09:42    [21857976]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
MaxGSS
Member

Откуда:
Сообщений: 7
Vadim Lejnin,
После ребута ноды сейчас все acfs подключились, поэтому dmesg сейчас показывает устройства нормально.
Забыл указать, что СХД к серверу подключена двумя кабелями FC и multipath`ом сделан маппинг дисков для ASM групп.
У СХД два контроллера, которые в свою очередь тоже подключены по двум SAS-кабелям.
10 апр 19, 12:56    [21858201]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
Vadim Lejnin
Member

Откуда:
Сообщений: 6699
MaxGSS,
Есть ли что-нибудь в файле:
/var/log/Kokslog.0
10 апр 19, 13:08    [21858227]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
MaxGSS
Member

Откуда:
Сообщений: 7
Vadim Lejnin,
Вообще такого лога нет
10 апр 19, 13:11    [21858230]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
Vadim Lejnin
Member

Откуда:
Сообщений: 6699
MaxGSS,

Посмотри ACFS filesystem crashing while writing on DIF/DIX enabled disks (Doc ID 2490459.1)
Актуальна для 12.2
10 апр 19, 13:16    [21858236]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
Vivat!San
Member

Откуда: Отсюда не возвращаются
Сообщений: 580
В принципе не самое хорошее решение из-за архитектуры этой кластерной fs и низкой производительности,
это лучше чем DBFS, но я бы старался избегать её использования в продакшен.
Была идея использовать для шареных oracle_home, пока дальше тестов не пошло.

ACFS 12.2 is Noticeable Slower than ACFS 12.1 (Doc ID 2457060.1)
10 апр 19, 15:01    [21858393]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
Sal
Member

Откуда:
Сообщений: 1573
Vivat!San,
в этой нотке есть же патч 28058466
в ODA к ACFS SSD прикручивают в качестве ускорителя метаданных

# mkfs -t acfs -h
mkfs.acfs: Create an ACFS file system.
mkfs.acfs: Usage: [-h] [-v] [-f] [-n name] [-a <volume>] <volume> [size]
mkfs.acfs:
[-n name] - Name of file system to be created
mkfs.acfs:
[-a <volume>] - ACFS accelerator volume pathname
mkfs.acfs:
<volume> - ACFS primary volume pathname
10 апр 19, 15:48    [21858472]     Ответить | Цитировать Сообщить модератору
 Re: Отваливается acfs раздел ASM от второй ноды  [new]
Sal
Member

Откуда:
Сообщений: 1573
кстати, а не замахнуться ли на flex asm
https://www.red-gate.com/simple-talk/sql/oracle/oracle-12c-cluster-acfs-leverages-flex-asm/
или даже Domain Services Cluster
вроде только с 18-й версии
https://docs.oracle.com/en/database/oracle/oracle-database/18/cwsol/about-oracle-domain-services-clusters.html
10 апр 19, 16:50    [21858604]     Ответить | Цитировать Сообщить модератору
Все форумы / Oracle Ответить