Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
 CRS-1714: Unable to discover any voting files  [new]
Xpek
Member

Откуда:
Сообщений: 4
Добрый день!

Работаю с Oracle уже 25 лет и вот, наконец попал в тупик. До сих пор как то удавалось разбираться самому.

Поставил зачем-то кластер самой современной версии, 12.2.0.1. Работал кластер плохо, непонятно и в конце концов, после отказа сервера загнулся окончательно. При старте не видит "vote дисков".

2019-03-27 18:42:14.944 : SKGFD:5398: Execute glob on the string /dev/rhdiskp*
2019-03-27 18:42:14.944 : SKGFD:5398: running stat on disk:/dev/rhdiskpower0
2019-03-27 18:42:14.944 : SKGFD:5398: running stat on disk:/dev/rhdiskpower1
2019-03-27 18:42:14.944 : SKGFD:5398: running stat on disk:/dev/rhdiskpower2
2019-03-27 18:42:14.945 : SKGFD:5398: running stat on disk:/dev/rhdiskpower3
2019-03-27 18:42:14.945 : SKGFD:5398: running stat on disk:/dev/rhdiskpower4
2019-03-27 18:42:14.945 : SKGFD:5398: running stat on disk:/dev/rhdiskpower5
2019-03-27 18:42:14.945 : SKGFD:5398: Fetching UFS disk :/dev/rhdiskpower5:
2019-03-27 18:42:14.945 : CLSF:5398: Ignoring 0-byte file /dev/rhdiskpower5
2019-03-27 18:42:14.945 : SKGFD:5398: Fetching UFS disk :/dev/rhdiskpower4:
2019-03-27 18:42:14.945 : CLSF:5398: Ignoring 0-byte file /dev/rhdiskpower4
2019-03-27 18:42:14.945 : SKGFD:5398: Fetching UFS disk :/dev/rhdiskpower3:
2019-03-27 18:42:14.945 : CLSF:5398: Ignoring 0-byte file /dev/rhdiskpower3
2019-03-27 18:42:14.945 : SKGFD:5398: Fetching UFS disk :/dev/rhdiskpower2:
2019-03-27 18:42:14.945 : CLSF:5398: Ignoring 0-byte file /dev/rhdiskpower2
2019-03-27 18:42:14.945 : SKGFD:5398: Fetching UFS disk :/dev/rhdiskpower1:
2019-03-27 18:42:14.945 : CLSF:5398: Ignoring 0-byte file /dev/rhdiskpower1
2019-03-27 18:42:14.945 : SKGFD:5398: Fetching UFS disk :/dev/rhdiskpower0:
2019-03-27 18:42:14.945 : CLSF:5398: Ignoring 0-byte file /dev/rhdiskpower0
2019-03-27 18:42:14.945 : SKGFD:5398: OSS discovery with :/dev/rhdiskp*:
2019-03-27 18:42:14.946 : CSSD:5398: clssnmvDiskVerify: Successful discovery of 0 disks
2019-03-27 18:42:14.946 : CSSD:5398: clssnmCompleteInitVFDiscovery: Completing initial voting file discovery
2019-03-27 18:42:14.946 : CSSD:5398: clssnmvFindInitialConfigs: No voting files found
2019-03-27 18:42:14.946 : CSSD:5398: clssnmInitDummyConfig: Rimhub misscount 30
2019-03-27 18:42:14.946 : CSSD:5398: clssnmCompleteVFDiscovery: Completing voting file discovery


Устройства которые они пробегает естественно существуют, на них выданы соответтсвующие права:

-bash-4.4$ ls -l /dev/rhdiskp*
crw-rw---- 1 grid asmadmin 43, 0 Oct 20 2017 /dev/rhdiskpower0
crw-rw---- 1 grid asmadmin 43, 1 Oct 20 2017 /dev/rhdiskpower1
crw-rw---- 1 grid asmadmin 43, 2 Oct 20 2017 /dev/rhdiskpower2
crw-rw---- 1 grid asmadmin 43, 3 Oct 20 2017 /dev/rhdiskpower3
crw-rw---- 1 root system 43, 4 Oct 20 2017 /dev/rhdiskpower4
crw-rw---- 1 root system 43, 5 Oct 20 2017 /dev/rhdiskpower5


но за каким то лешим теперь они "0-byte". То есть проблема на стыке ОС и базы, в какую сторону рыть не понимаю...
Может есть у кого база на подобных дисках, это PowerPath от EMC вроде. Подскажите пожалуйста.
29 мар 19, 16:14    [21847305]     Ответить | Цитировать Сообщить модератору
 Re: CRS-1714: Unable to discover any voting files  [new]
Sal
Member

Откуда:
Сообщений: 1573
Xpek,

по CRS-1714 первое что гуглится

https://www.hhutzler.de/blog/crs-doesnt-start-due-to-crs-1714-error/

гельмут этот глубоко копал кластерварь, так что может что-то полезное в его статьях обнаружится.

так у вас какая ОС? и потом, это на одном узле, а что с другими?
29 мар 19, 17:35    [21847423]     Ответить | Цитировать Сообщить модератору
 Re: CRS-1714: Unable to discover any voting files  [new]
Xpek
Member

Откуда:
Сообщений: 4
Sal
Xpek,

по CRS-1714 первое что гуглится

https://www.hhutzler.de/blog/crs-doesnt-start-due-to-crs-1714-error/

гельмут этот глубоко копал кластерварь, так что может что-то полезное в его статьях обнаружится.

так у вас какая ОС? и потом, это на одном узле, а что с другими?



Это я уже видел. Там как минимум не совпадают команды, имена устройств и схемы их расположения... Думаю это все по 11 версии.
ОС AIX. Другой узел тоже не поднимается, но детально анализ я стал вести на одном узле. Думаю на другом та же ситуация.

Пока есть подозрение что после ремонта сервера нарушились связи в ОС между устройствами hdisk - hdiskpower, hdisk пересоздались заново, а конфигурация powerpath не увидела это. Буду удалять-создавать все /dev/hdisk* заново...
29 мар 19, 17:40    [21847432]     Ответить | Цитировать Сообщить модератору
 Re: CRS-1714: Unable to discover any voting files  [new]
Sal
Member

Откуда:
Сообщений: 1573
Xpek,
поcле ремонта имена дисков могли посбиваться
например вот тема с udev
http://vishnu-dba.blogspot.com/2018/02/asm-doesnt-start-due-to-crs-1714-error.html
но ремонт то был не на обоих узлах?
а так да, на том же металинке полно ноток - пропали voting disk после установки патча на ОС и т.п.
29 мар 19, 17:47    [21847447]     Ответить | Цитировать Сообщить модератору
 Re: CRS-1714: Unable to discover any voting files  [new]
DВА
Member

Откуда:
Сообщений: 5385
Xpek
Пока есть подозрение что после ремонта сервера нарушились связи в ОС между устройствами hdisk - hdiskpower, hdisk пересоздались заново, а конфигурация powerpath не увидела это. Буду удалять-создавать все /dev/hdisk* заново...

Скорее всего. А чего мешает через dd проверить?
У нас один заказчик решил, что называть диски hdisk* некошерно и назвал их интуитивно понятными именами.
Вот радости-то было когда AIX их терял и возвращал со стандартными именами )
29 мар 19, 18:20    [21847490]     Ответить | Цитировать Сообщить модератору
 Re: CRS-1714: Unable to discover any voting files  [new]
flexgen
Member

Откуда: Город на песке
Сообщений: 699
Xpek
-bash-4.4$ ls -l /dev/rhdiskp*
crw-rw---- 1 grid asmadmin 43, 0 Oct 20 2017 /dev/rhdiskpower0
crw-rw---- 1 grid asmadmin 43, 1 Oct 20 2017 /dev/rhdiskpower1
crw-rw---- 1 grid asmadmin 43, 2 Oct 20 2017 /dev/rhdiskpower2
crw-rw---- 1 grid asmadmin 43, 3 Oct 20 2017 /dev/rhdiskpower3
crw-rw---- 1 root system 43, 4 Oct 20 2017 /dev/rhdiskpower4
crw-rw---- 1 root system 43, 5 Oct 20 2017 /dev/rhdiskpower5


Почему owner дисков 4 и 5 system а не asmadmin? Какой именно диск был определен как voting при установке GRID? Что в файле /proc/partitions? Сколько серверов в кластере?
29 мар 19, 20:14    [21847570]     Ответить | Цитировать Сообщить модератору
 Re: CRS-1714: Unable to discover any voting files  [new]
Xpek
Member

Откуда:
Сообщений: 4
flexgen
Почему owner дисков 4 и 5 system а не asmadmin? Какой именно диск был определен как voting при установке GRID? Что в файле /proc/partitions? Сколько серверов в кластере?


Потому что не нужно. Это boot-диски для операционных систем, там базе искать нечего. Диски для базы именно 0-3

Сейчас кластер починить удалось. Действительно, после жесткой иннициализации сервера после ремонта нарушились связи между /dev/hdisk* в операционной системе и псевдоустройствами hdiskpower*

Пришлось все чистить и конфигурить заново. В конечном итоге hdiskpower заново подхватил реальные диски и кластер их увидел. Печально что "zero-byte file" - это все что можно добиться от системы, дальше приходится гадать. Естесвенно, эти устройства никакой не нулевой длины, все нормально. Но вот так видит все это Oracle...

Последнее обо что я споткнулся - это chdev -l hdisk* -a reserve_policy=no_reserve. В доках это есть, но если пересоздать пути устройств, то данный атрибут сбрасывается.

Если это забыть восстановить, то стартует только одна нода.
3 апр 19, 13:30    [21851255]     Ответить | Цитировать Сообщить модератору
 Re: CRS-1714: Unable to discover any voting files  [new]
CrazyCat
Member

Откуда:
Сообщений: 2931
а зачем пялили прослойку от EMC? вроде как AIX сам прекрасно умеет мультипас.
4 апр 19, 12:27    [21852450]     Ответить | Цитировать Сообщить модератору
 Re: CRS-1714: Unable to discover any voting files  [new]
Xpek
Member

Откуда:
Сообщений: 4
CrazyCat
а зачем пялили прослойку от EMC? вроде как AIX сам прекрасно умеет мультипас.


да, тут я неправ. Эта ерунда была ни к чему, но куплена.
4 апр 19, 14:33    [21852681]     Ответить | Цитировать Сообщить модератору
Все форумы / Oracle Ответить