Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
 Не стартует node2 после установки. 2-х нодовый кластер  [new]
andrewirn
Member

Откуда:
Сообщений: 39
Доброго времени суток.
Помогите в решении проблемы - не стартует вторая нода на двухнодовом кластере после установки, все шаги установки прошли без ошибок (Установка Грида, СУБД Оракл, создание БД) в алерт логе ошибок не наблюдаю. Запуск кластера со 2-й ноды (srvctl start database -d CLUSTER) все равно запускает ноду 1.
Установку производил на VMware Workstation 11
OS - SunOS 5.11
СУБД - Oracle 11.2.0.4

Команда srvctl status:
oracle@cluster-rac1:~$ srvctl status database -d CLUSTER
Instance CLUSTER1 is running on node cluster-rac1

grid@cluster-rac1:/u01/app/oracle/product/11.2.0/grid/bin$ crsctl query crs activeversion
Oracle Clusterware active version on the cluster is [11.2.0.4.0]

grid@cluster-rac1:/u01/app/oracle/product/11.2.0/grid/bin$ crsctl query crs activeversion
Oracle Clusterware active version on the cluster is [11.2.0.4.0]

grid@cluster-rac1:/u01/app/oracle/product/11.2.0/grid/bin$ crsctl query css votedisk
## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE 85abb79110204fd9bf9b136771ea75ea (/dev/rdsk/c3t0d0) [DATA]
Located 1 voting disk(s).

grid@cluster-rac1:/u01/app/oracle/product/11.2.0/grid/bin$ crsctl check crs
CRS-4638: Oracle High Availability Services is online
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online

grid@cluster-rac1:/u01/app/oracle/product/11.2.0/grid/bin$ ./srvctl status nodeapps
VIP cluster-rac1-vip is enabled
VIP cluster-rac1-vip is running on node: cluster-rac1
VIP cluster-rac2-vip is enabled
VIP cluster-rac2-vip is running on node: cluster-rac2
Network is enabled
Network is running on node: cluster-rac1
Network is running on node: cluster-rac2
GSD is disabled
GSD is not running on node: cluster-rac1
GSD is not running on node: cluster-rac2
ONS is enabled
ONS daemon is running on node: cluster-rac1
ONS daemon is running on node: cluster-rac2

grid@cluster-rac1:/u01/app/oracle/product/11.2.0/grid/bin$ ./crsctl check cluster -all
**************************************************************
cluster-rac1:
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************
cluster-rac2:
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************

grid@cluster-rac1:/u01/app/oracle/product/11.2.0/grid/bin$ ./crsctl status resource -t
--------------------------------------------------------------------------------
NAME TARGET STATE SERVER STATE_DETAILS
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
ONLINE ONLINE cluster-rac1
ONLINE ONLINE cluster-rac2
ora.LISTENER.lsnr
ONLINE ONLINE cluster-rac1
ONLINE ONLINE cluster-rac2
ora.asm
ONLINE ONLINE cluster-rac1 Started
ONLINE ONLINE cluster-rac2 Started
ora.gsd
OFFLINE OFFLINE cluster-rac1
OFFLINE OFFLINE cluster-rac2
ora.net1.network
ONLINE ONLINE cluster-rac1
ONLINE ONLINE cluster-rac2
ora.ons
ONLINE ONLINE cluster-rac1
ONLINE ONLINE cluster-rac2
ora.registry.acfs
ONLINE ONLINE cluster-rac1
ONLINE ONLINE cluster-rac2
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE cluster-rac2
ora.LISTENER_SCAN2.lsnr
1 ONLINE ONLINE cluster-rac1
ora.LISTENER_SCAN3.lsnr
1 ONLINE ONLINE cluster-rac1
ora.cluster-rac1.vip
1 ONLINE ONLINE cluster-rac1
ora.cluster-rac2.vip
1 ONLINE ONLINE cluster-rac2
ora.cluster.db
1 ONLINE ONLINE cluster-rac1 Open
ora.cvu
1 ONLINE ONLINE cluster-rac1
ora.oc4j
1 ONLINE ONLINE cluster-rac1
ora.scan1.vip
1 ONLINE ONLINE cluster-rac2
ora.scan2.vip
1 ONLINE ONLINE cluster-rac1
ora.scan3.vip
1 ONLINE ONLINE cluster-rac1
grid@cluster-rac1:/u01/app/oracle/product/11.2.0/grid/bin$ asmcmd lsdsk
Path
/dev/rdsk/c3t0d0


Подскажите куда копать, что допилить?
Во вложении архив cluster с файликами листенера, тнснаймз с обеих нод

К сообщению приложен файл (CLUSTER.rar - 2Kb) cкачать
21 дек 16, 15:06    [20032355]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
дж
Guest
andrewirn,

У вас в кластере зарегистрирован только один инстанс:
oracle@cluster-rac1:~$ srvctl status database -d CLUSTER
Instance CLUSTER1 is running on node cluster-rac1

...

--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
1 ONLINE ONLINE cluster-rac2
ora.cluster.db


Добавьте второй через srvctl add instance:
https://docs.oracle.com/cd/E11882_01/rac.112/e41960/srvctladmin.htm#i1008526

Вообще, конечно, хотелось бы глянуть как устанавливались GI и БД.
21 дек 16, 15:45    [20032599]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
Taciturn12
Member

Откуда:
Сообщений: 50
Скорее всего причина в том, что когда создавалась база была выбрана только одна нода (по умолчанию стоит одна), для установки на две ноды необходимо их выбрать вручную или щелкнуть "выбрать все". Для решения "проблемы" добавьте инстанс на вторую ноду командой из предыдущего сообщения.
22 дек 16, 12:08    [20035879]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
andrewirn
Member

Откуда:
Сообщений: 39
дж, Taciturn12

Огромное спаисбо за советы, сделал как вы советовали все запустилось. Очень благодарен вам.

Добавлю еще пару шагов в дополнение, для тех у кого возможно будет похожая проблема:

1. Так же добавил redo logs for thread 2
alter database add logfile thread 2 group 5 ('+DATA/cluster/onlinelog/log_name.log') size 50M;
2. Enable redo
alter database enable public thread 2;
22 дек 16, 12:47    [20036088]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
andrewirn
Member

Откуда:
Сообщений: 39
Добый день Taciturn12, дж
Подскажите плиз действенное решение или если имеется скиньте полезную ссылку (я их перелопатил множество в нете, все бесполезно) по вопросу того, что после ребута одного из 2-х серверов, нода на этом сервере не стартует:
С ноды1:
oracle@cluster-rac1:$ ./crsctl status resource -t
--------------------------------------------------------------------------------
NAME TARGET STATE SERVER STATE_DETAILS
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
ONLINE ONLINE cluster-rac1
ora.LISTENER.lsnr
ONLINE ONLINE cluster-rac1
ora.asm
ONLINE ONLINE cluster-rac1 Started
ora.gsd
OFFLINE OFFLINE cluster-rac1
ora.net1.network
ONLINE ONLINE cluster-rac1
ora.ons
ONLINE ONLINE cluster-rac1
ora.registry.acfs
ONLINE ONLINE cluster-rac1
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE cluster-rac1
ora.LISTENER_SCAN2.lsnr
1 ONLINE ONLINE cluster-rac1
ora.LISTENER_SCAN3.lsnr
1 ONLINE ONLINE cluster-rac1
ora.cluster-rac1.vip
1 ONLINE ONLINE cluster-rac1
ora.cluster-rac2.vip
1 ONLINE INTERMEDIATE cluster-rac1 FAILED OVER
ora.cluster.db
1 ONLINE ONLINE cluster-rac1 Open
2 ONLINE OFFLINE
ora.cvu
1 ONLINE ONLINE cluster-rac1
ora.oc4j
1 ONLINE ONLINE cluster-rac1
ora.scan1.vip
1 ONLINE ONLINE cluster-rac1
ora.scan2.vip
1 ONLINE ONLINE cluster-rac1
ora.scan3.vip
1 ONLINE ONLINE cluster-rac1

С ноды:
root@cluster-rac2:# ./crsctl start crs
CRS-4124: Oracle High Availability Services startup failed.
CRS-4000: Command Start failed, or completed with errors.
11 янв 17, 12:56    [20093303]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
Тролин
Member

Откуда:
Сообщений: 179
andrewirn,

для ленивых
сначала проверим
srvctl status inst –d CLUSTER -i CLUSTER1

если нету то:
srvctl add instance -d CLUSTER -i CLUSTER1 -n cluster-rac1
11 янв 17, 15:49    [20094274]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
Тролин
Member

Откуда:
Сообщений: 179
сорян


сначала проверим
srvctl status inst –d CLUSTER -i CLUSTER2

если нету то:
srvctl add instance -d CLUSTER -i CLUSTER2 -n cluster-rac2
11 янв 17, 15:51    [20094290]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
crsctl
Guest
Тролин
сорян


сначала проверим
srvctl status inst –d CLUSTER -i CLUSTER2

если нету то:
srvctl add instance -d CLUSTER -i CLUSTER2 -n cluster-rac2


Не в тему.
11 янв 17, 17:59    [20095035]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
crsctl
Guest
andrewirn,

Ищи ohasd.trc и смотри в него.
Обычно он в $ORACLE_BASE/diag/crs/<host>/crs/trace
Там же alert.log, можешь и его глянуть.
11 янв 17, 18:06    [20095060]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
andrewirn
Member

Откуда:
Сообщений: 39
Тролин,

Спасибо за совет, но я это уже проделал все заработало отлично. Свою ошибку я понял. Но на этот раз после ребута сервера (незапланированного) тот инстанс который крутился на этот сервере не поднимается:

oracle@cluster-rac1:~$ srvctl status database -d CLUSTER
Instance CLUSTER1 is running on node cluster-rac1
Instance CLUSTER2 is not running on node cluster-rac2
12 янв 17, 08:45    [20096675]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
Тролин
Member

Откуда:
Сообщений: 179
andrewirn, еще нужно сделать
srvctl enable instance -d CLUSTER -i CLUSTER2

должен заработать автоматический запуск
12 янв 17, 18:10    [20099685]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
Тролин
Member

Откуда:
Сообщений: 179
andrewirn, но после enable прийдется все же сделать start этому instance
12 янв 17, 18:11    [20099695]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
постит труизмы
Guest
У автора CRS не стратует, до srvctl дело не доходит даже
12 янв 17, 18:18    [20099721]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
Тролин
Member

Откуда:
Сообщений: 179
постит труизмы,как определил? Телепат?
12 янв 17, 18:57    [20099877]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
crsctl
Guest
Тролин
постит труизмы,как определил? Телепат?


Дебил что ли ?

root@cluster-rac2:# ./crsctl start crs
CRS-4124: Oracle High Availability Services startup failed.
CRS-4000: Command Start failed, or completed with errors.

ora.cluster-rac2.vip
1 ONLINE INTERMEDIATE cluster-rac1 FAILED OVER

У него кластерварь не стартует, а ты со своими инстансами лезешь.
12 янв 17, 21:13    [20100257]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
crsctl
Guest
andrewirn,

Я так понимаю логи ты так и не посмотрел ? Причину не видишь ?
Тогда смотри доступность и права доступа к shared-дискам, это самая распространенная проблема.

Посмотри что там на втором узле (скорее всего это всё даст ошибку):
crsctl check has
crsctl stat res -t -init
crsctl query css votedisk
ocrcheck

Ну и если между командой
root@cluster-rac2:# ./crsctl start crs

и ошибкой
CRS-4124: Oracle High Availability Services startup failed.

Проходит достаточно много времени (ну минуты две), то скажи.
Есть там прикольный баг, который обходится не менее прикольным способом.
12 янв 17, 21:27    [20100300]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
Тролин
Member

Откуда:
Сообщений: 179
crsctl, не увидел в последнем сообщении что у него проблема с crs....
12 янв 17, 21:53    [20100380]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
andrewirn
Member

Откуда:
Сообщений: 39
crsctl,

Большое спасибо за советы!!!
В итоге после череды команд у меня вооще перестала грузиться солярка на второй проблемной ноде, поэтому и логи не глянул. Пока пытаюсь привести в чувства операционку. Как решу вопрос с ней обязательно отпишусь по результатам. Если ничего не поулчится откачусь до момента начала установки грида (благо есть спапшот) установлю все по новой, снова ребутну и гляну что там. На все дня 3 думаю.
13 янв 17, 08:13    [20100980]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
andrewirn
Member

Откуда:
Сообщений: 39
crsctl, Добрый день!

Переустановил все заново. Все рабатает пока.

oracle@cluster-rac1:~$ srvctl status database -d CLUSTER -v
Instance CLUSTER1 is running on node cluster-rac1. Instance status: Open.
Instance CLUSTER2 is running on node cluster-rac2. Instance status: Open.

SQL> select INSTANCE_NAME,HOST_NAME,VERSION,STARTUP_TIME,STATUS,ACTIVE_STATE,INSTANCE_ROLE,DATABASE_STATUS from gv$INSTANCE;

INSTANCE_NAME HOST_NAME VERSION STARTUP_TIME STATUS ACTIVE_ST INSTANCE_ROLE DBASE_STATUS
---------------- ----------- ----------------- ------------------- ------------ --------- ------------------ -----------------
CLUSTER1 cluster-rac1.test.com 11.2.0.4.0 2017-01-18 04:39:24 OPEN NORMAL PRIMARY_INSTANCE ACTIVE
CLUSTER2 cluster-rac2.test.com 11.2.0.4.0 2017-01-18 04:40:05 OPEN NORMAL PRIMARY_INSTANCE ACTIVE


Подскажите плиз работают ли рекомендации данные в этом посте чтоб избежать проблемы с которой я столкнулся после непредвиденного ребута сервака? (How to set auto start resources in 11G RAC)
https://oracleracdba1.wordpress.com/2013/01/29/how-to-set-auto-start-resources-in-11g-rac/

У меня:
oracle@cluster-rac1:$ crsctl stat res -p
NAME=ora.DATA.dg
TYPE=ora.diskgroup.type
AUTO_START=never

NAME=ora.LISTENER.lsnr
AUTO_START=restore

NAME=ora.asm
AUTO_START=never

NAME=ora.cluster.db
AUTO_START=restore

NAME=ora.cvu
AUTO_START=restore

NAME=ora.gsd
AUTO_START=always

NAME=ora.scan1.vip
AUTO_START=restore

Я правильно понимаю что знание "restore" так же стоит установить в "always"?
18 янв 17, 14:29    [20118663]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
andrewirn
Member

Откуда:
Сообщений: 39
crsctl,

т.е. после изменения вышеприведенных параметров, а так же при условии:
root@cluster-rac1:# ./crsctl config has
CRS-4622: Oracle High Availability Services autostart is enabled.
root@cluster-rac1:# ./crsctl config crs
CRS-4622: Oracle High Availability Services autostart is enabled.

Можно смело тушить серваки и снимать снапшоты?
18 янв 17, 15:36    [20119011]     Ответить | Цитировать Сообщить модератору
 Re: Не стартует node2 после установки. 2-х нодовый кластер  [new]
andrewirn
Member

Откуда:
Сообщений: 39
После ребута серваков кластер запустился в автоматическом режиме.
Спасибо всем, кто учавствал в решении вопроса!
17 фев 17, 09:09    [20220045]     Ответить | Цитировать Сообщить модератору
Все форумы / Oracle Ответить