Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
 CentOS + RAC + Oracle 10g + OCFS2  [new]
Semenets Pavel
Member

Откуда:
Сообщений: 10
Здравствуйте уважаемые гуру.

Возникла проблема с Rac и в чем она я понять не могу (идеи кончились).

Для начала предистория.

В Компании "X" меня попросили поднять кластер Oracle.
После безуспешных попыток убедить народ что для хранилища базы данных лучше использовать Полку прицепленную по фибре к нодам кластера. ыло принятно решение взять 3 сервера 2 из них будут выступать нодами кластера а один из них будет приуидываться дисковым массивом

в общем в итоге получилась примерно такая конфигурация.

1 машина

16х147GB SCSI диски 15к оборотов в 10 Raid аппаратный
1хCPU 3.4 Xeon
8GB Ram

2 и 3 машина

2x147GB SCSI диски 15к оборотов в 1 Raid софтверный Linux
16GB ram
2xCPU 2.4 Xeon

Все сервера одного производителя SuperMicro

Операционная система CentOS 5.2 В принцепе наколько я понял это тот же самый RHEL 5.2

На первой машине 2 интерфейса сцепленный в bond + поднят gnbd сервер

на 2-х других машинах импортированны диски с первой как блочные устройства

Поднят OCFS2 для Базы данных и для CRS + Oracle
cluster_interconnect висит на отдельном интерфейсе как и подцепленные диски

Так вот все встало без проблем и даже работает более менее сносно.

Только периодами появляется проблема отваливается то первая нода то вторая то отвалится сам ocfs2
то невозможно смотировать файловую систему без полной перезагрузки обеих нод.

Есть идеи с чем может быть связанно?
19 сен 08, 00:01    [6202901]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
PaulEr
Member

Откуда:
Сообщений: 3794
А почему решили ставить на центос? Чем сам рхел не устроил?Денег не дают? А OUL не пробовали? На то он и центос,гы:) Я на raw всё ставил. А их в ASM.
19 сен 08, 00:53    [6202973]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Semenets Pavel
Member

Откуда:
Сообщений: 10
Я изначально вообще хотел поставить на Cluster Shute Шапки но что то у меня не пошло.

Поэтому выбрал такую конфигурацию а вот почему переодический нодам становится хреново понять не могу (((
19 сен 08, 01:16    [6202997]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Alex Roudnev
Member

Откуда: Валнут Крик, Калифорния
Сообщений: 5547
Ну вы даете...

Что значит _импортированы диски как блочные устройства_? Каким протоколом импортированы то (я вообще не знаю что вы имели в виду под оным понятием)?

Единственный более менее надежный вариант у вас - это OpenFIler или SLES10 на сервере1, оттуда iSCSI, оттуда ASM и на нем RAID. Еще можно там же поднять NFS и юзать для бэкапов и архивлогов.

Но все это в лучшем случае годится для лабы.
19 сен 08, 01:32    [6203008]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Alex Roudnev
Member

Откуда: Валнут Крик, Калифорния
Сообщений: 5547
А лучше
- выкиньте сервер1, найдите недорогую полку с iSCSI или юзанный НетАпп
- подцепите диски к полке по iSCSI и работайте.
- используйте ASM.
19 сен 08, 01:33    [6203010]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Semenets Pavel
Member

Откуда:
Сообщений: 10
На стороне сервера запущен gnbd_serv на стороне клиента gnbd_import получаем /dev/gnbd[0-4] устройства и с ними работаем что не понятно? или вы никогда ничего кроме NFS и ISCSI не видели ?
19 сен 08, 01:36    [6203015]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Semenets Pavel
Member

Откуда:
Сообщений: 10
Alex Roudnev
А лучше
- выкиньте сервер1, найдите недорогую полку с iSCSI или юзанный НетАпп
- подцепите диски к полке по iSCSI и работайте.
- используйте ASM.


В том то и дело что денег на это не дали получилось только то что есть и задача заставить это работать чтобы оно периодами не падало
19 сен 08, 01:37    [6203016]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Ааз
Member

Откуда: Москва/Протвино
Сообщений: 4274
Semenets Pavel
Операционная система CentOS 5.2 В принцепе наколько я понял это тот же самый RHEL 5.2
Смотрим матрицу сертификации (например, тут есть ссылки). Ежели там CentOS есть, то можно хоть в продакшн. Если нет - на ... пишццо раздельно, а наср..ь - слитно. Даже если после долгих мук поднимите, support (знающий грамматику) вас будет тупо отражать. Оно вам надо?

Всего
19 сен 08, 04:29    [6203091]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Alex Roudnev
Member

Откуда: Валнут Крик, Калифорния
Сообщений: 5547
Semenets Pavel
Alex Roudnev
А лучше
- выкиньте сервер1, найдите недорогую полку с iSCSI или юзанный НетАпп
- подцепите диски к полке по iSCSI и работайте.
- используйте ASM.


В том то и дело что денег на это не дали получилось только то что есть и задача заставить это работать чтобы оно периодами не падало


Тогда поставьте на тот сервер что первый SLES10 Sp2 и настройте там iSCSI target, для устройст используйте LVM. Протестировал только что с другой целью (neat storage для VMware) - все конфигурится без использования редактора vi (только через yast2) за 10 минут и работает.

ну или возьмите свою любимую CentOS, помучайтесь с iSCSI target и получите тот же результат.

Или аналогично с OpenFiler. Сделайте из первого фал сервер - настройте там LVM, настройте там NFS и iSCSI target (можно в нее давать вольюмы LVM, можно и файлы используя /dev/loop) и наслаждайтесь стандартной работой оракла на стандартном же iSCSI.

Совет - чем трахаться с Oracle @ CentOS, скачайте с оракла триал Unbreakable Linux 4 и наслаждайтесь. За те же деньги. А когда будете покупать лицензию на оракл, лишние 100 долларов лицензии на саппорт UL вам покажутся копейками. Вот ведь люди придумывают себе приключения.

Хотя насчет матрицы сертификации париться не надо - работает оракл и на OpenSuSE и на CentOS, правда на последней весьма странно.
19 сен 08, 07:05    [6203139]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Semenets Pavel
Member

Откуда:
Сообщений: 10
Уважаемые Гуру. ((( Я в курсе что CentOS не сертифицированна под оракла. Моя проблема может возникнуть при Нагрузке на кластер или вообще просто так. Я не спрашивал как на этом всем поднять RAC а почему может это происходить. Я имел ввиду отвал Ноды отказ OCFS2 монтировать файловые системы без жесткой перегрузки (проблемы в этом и только в этом). Еще для раздумий GNBD ниразу не отвалился за все время а ISCSI при большом потоке данных почему то падает один раз даже утащив за собой конфигурацию контролеера (((
19 сен 08, 11:06    [6204107]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
denix1
Member

Откуда: Киев
Сообщений: 4656
Semenets Pavel
проблемы в этом и только в этом
если в бак машины залить ослиной мочи(лучше не пробовать на своей:)),
то можно сказать, что проблема только в том, что "машина не едет и только в этом"

ПС.
а вообще разговоры о том, что что-то отваливается без показа логов - гадание на кофейной гуще...
19 сен 08, 13:54    [6205484]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
PaulEr
Member

Откуда:
Сообщений: 3794
Semenets Pavel
Я изначально вообще хотел поставить на Cluster Shute Шапки но что то у меня не пошло.

Поэтому выбрал такую конфигурацию а вот почему переодический нодам становится хреново понять не могу (((

То есть на GFS пробовали?
19 сен 08, 13:57    [6205503]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Semenets Pavel
Member

Откуда:
Сообщений: 10
Первое про логи. В логах никакой аномалии только лишь как будто кто то зходит через sqlplus и выполняет shutdown instance. Про GFS - пробовал история та же самая.
19 сен 08, 17:41    [6207094]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
denix1
Member

Откуда: Киев
Сообщений: 4656
Semenets Pavel
Первое про логи. В логах никакой аномалии только лишь как будто кто то зходит через sqlplus и выполняет shutdown instance.
я в данном случае имел в виду не ALERT-логи,
а логи CRSD & CSSD + далее можно включить логирование ресурсов
19 сен 08, 17:46    [6207140]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Semenets Pavel
Member

Откуда:
Сообщений: 10
Ошибки постоянно такого плана больше никаких ошибок не встречается

2008-09-19 19:35:01.397: [ OCRSRV][1242372416]th_select_handler: Failed to retrieve procctx from ht. constr = [-1408516144] retval lht [-27] Signal CV.
2008-09-19 19:36:01.710: [ OCRSRV][1242372416]th_select_handler: Failed to retrieve procctx from ht. constr = [-1408516144] retval lht [-27] Signal CV.
2008-09-19 19:37:02.125: [ OCRSRV][1242372416]th_select_handler: Failed to retrieve procctx from ht. constr = [-1408516144] retval lht [-27] Signal CV.
2008-09-19 19:38:02.473: [ OCRSRV][1242372416]th_select_handler: Failed to retrieve procctx from ht. constr = [-1408516144] retval lht [-27] Signal CV.
2008-09-19 19:39:02.777: [ OCRSRV][1242372416]th_select_handler: Failed to retrieve procctx from ht. constr = [-1408516144] retval lht [-27] Signal CV.
19 сен 08, 19:40    [6207510]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
OlegLOM
Member

Откуда: Нижний Новгород
Сообщений: 51
Semenets Pavel
Еще для раздумий GNBD ниразу не отвалился за все время а ISCSI при большом потоке данных почему то падает один раз даже утащив за собой конфигурацию контролеера (((


при большом потоке это сколько? в меня 2 сетевухи забондены по

Ethernet Channel Bonding Driver: v3.1.2 (January 20, 2007)
Bonding Mode: IEEE 802.3ad Dynamic link aggregation

трансвер по iscsi > 120МБ/сек ничего не падает и никакие рейды не убивает...

смотрите железо свичи и рейд контроллеры что то глючит
на вашем реально можно добиться не хилой производительности.
19 сен 08, 21:57    [6207799]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Semenets Pavel
Member

Откуда:
Сообщений: 10
Большой поток это 2 гигабита забито тоесть трансфер через бонд с 2-х нод под 160мб/с и файлы размером пару тройку гигов. На таком тесте он у меня упал
19 сен 08, 23:29    [6207956]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Semenets Pavel
Member

Откуда:
Сообщений: 10
Ну что на этом все утихло и никто помочь мне не хочет большеили не может (((
21 сен 08, 10:49    [6209740]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
denix1
Member

Откуда: Киев
Сообщений: 4656
Semenets Pavel
Ну что на этом все утихло и никто помочь мне не хочет большеили не может (((
еще наверняка может помочь тех.поддержка, но врядли захочет...
21 сен 08, 16:27    [6209975]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Максим К.
Member

Откуда: Екатеринбург
Сообщений: 16
Semenets Pavel,
А попробуйте посмотреть здесь, в разделе "Adjust the O2CB Heartbeat Threshold". Там речь идет о SharedStorage на Firewire дисках и как раз разобрана проблема таймаутов при обращении к voiting disk и отпадания нодов из-за этого.
20 окт 08, 14:48    [6329893]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
SQL*Plus
Member

Откуда: Россия, Москва
Сообщений: 8131
Semenets Pavel
Ну что на этом все утихло и никто помочь мне не хочет большеили не может (((
И как оно?
За прошедший месяц решили свою проблему?
А если да, то как именно?
20 окт 08, 15:48    [6330344]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Alex Roudnev
Member

Откуда: Валнут Крик, Калифорния
Сообщений: 5547
SQL*Plus,

Ну, я эту проблему не решал, но некоторый опыт показал, что использование iSCSI target с линукса является наиболее стабильным вариантом. С NFS на линукс сервере есть некоторые необъясненные сложности.
20 окт 08, 23:00    [6332199]     Ответить | Цитировать Сообщить модератору
 Re: CentOS + RAC + Oracle 10g + OCFS2  [new]
Lord British
Member

Откуда: На Камчатке красиво?
Сообщений: 758
Я всё ставил CentoOS 5.x(не помню) + Clusterware 10g + DB 10g - ушло полтора дня (на виртуалку 2 ноды)
. OCFS2 использовал для ocr, voting, и ASM (over libasm) для Хранилища.
Ещё помню ставил чуть по другому - на raw'ы ocr и voting, а потом проапдейтился (не помню патч - нет ничего под рукой) и подсунул обычные блочные вместо raw'ов. - всё пахало.


Затыки были но всё решаемо.
26 дек 08, 10:36    [6623415]     Ответить | Цитировать Сообщить модератору
Все форумы / Oracle Ответить