Загрузка LPAR(AIX) в серверах IBM Pseries по SAN (NPIV)

добавлено: 15 июл 13
понравилось:0
просмотров: 2838
комментов: 0

теги:

Автор: ДохтаР

В предыдуще статье я попытался рассказать как создавать
виртуальные стораджи, Если есть вопросы, задавайте там , попробую обяснить

Теперь давайте попробуем подключить дисковое пространство этого виртуального
стораджа к серверу IBM Pseries с не совсем тривиальной конфигураций.

Нетривиальность заключается в том, что LPAR( виртуальная машина) не имеет физических Fibre Channel
адаптеров, адаптеры виртуальные и не только FC , а вобще все адаптеры виртуальные.
И загрузка ОС AIX будет производиться по SAN.

Если у вас напрашивается вопрос почему так сложно?
Не стесняйтесь, задавайте вопросы в каментах.



Собственно поехали........


Пришлось потратить не которое время на подключение протов хранилища
к SAN свичу, свободных портов там не оказалось , пришлось забрать лишние порты
у другого сервера.
В данный момент сторадж подключен в SAN 8 портами
смотрим на первое плечо SAN :

заходим на свич и наблюдаем :

автор
dcx1:myself>alishow Vvsp01_cl*
alias: Vvsp01_cl3a
50:06:0e:80:16:52:79:20
alias: Vvsp01_cl4a
50:06:0e:80:16:52:79:30


Имеем 2 алиаса для портов 3a и 4a.
Это порты , через которые сейчас работает прдуктивная система , они нас не интересуют.

Ищем другие 2 порта стораджа , которые я сегодня подключил :
автор
dcx1:myself>switchshow | grep 50:06:0e:80:16:52
298 3 42 15a280 id N8 Online FC F-Port 50:06:0e:80:16:52:79:30
299 3 43 15a380 id N8 Online FC F-Port 50:06:0e:80:16:52:79:20
237 11 29 15ed00 id N8 Online FC F-Port 50:06:0e:80:16:52:79:31
239 11 31 15ef00 id N8 Online FC F-Port 50:06:0e:80:16:52:79:11


Вот они , выделены синим.

Идем смотрим на порты стораджа
Картинка с другого сайта.

И наблюдаем не совсем красивую картину с точки зрения резервирования компонет

Собственно пришлось пойти в серверную и поменять
порты местами
Теперь на свиче мы видем следующую картину

автор
dcx1:myself> switchshow | grep 50:06:0e:80:16:52
298 3 42 15a280 id N8 Online FC F-Port 50:06:0e:80:16:52:79:30
299 3 43 15a380 id N8 Online FC F-Port 50:06:0e:80:16:52:79:20
237 11 29 15ed00 id N8 Online FC F-Port 50:06:0e:80:16:52:79:21
239 11 31 15ef00 id N8 Online FC F-Port 50:06:0e:80:16:52:79:11


Собственно зачем я менял порты местами, я расскажу потом, когда мы увидим на AIX
по каким путям он получил тома со стораджа.
Забегу наперед , скажу , что каждый том он будет видеть по 4 путям.

Для понимания процесса , как все это будет выглядеть в я нарисовал маленькую диаграмку
в которой прописаны пути для лунов от LPAR ов , через VIOS-ы и SAN фабрики до стораджа

Картинка с другого сайта.

собственно продолжим.

У нас есть 4 коробки с пазлами ( vios1, vios2, SAN fabric1, SAN fabric2) из которых нужно выбрать элементы
и сложить нашу конфигурацию не поламав картинок в коробках.
Наверное не совсем красивая аналогия , но другой пока нет, придумаю поменяю.

Посмотрим в коробочку VIOS1 если кто не в курсе это некая мастер машина в облачной терминологии
котороя управляет физическими ресурсами и умеет раздавать их гостевым машинам.
Для решения задачи отказоустойчивости оборудования бест практис рекомендует иметь 2 таких машины.
В люлй момент времени любую из этих машин можно рестаровать , при этом резервируемые ресурсы гостевых машин остануться доступными. Вобщем это тема отдельной статьи.
Как я раньше говорил и рисовал диаграмму , каждый том(Lun) будет приезжать в AIX по 4 путям.
Можно было бы и меньше, но 4 это оптимальное число с точки резервирования компонет.
Два пути будут подаваться через VIOS1 и еще 2 через VIOS2.

Заходим на VIOS1
смотрим на FC адаптеры
автор
lsdev -Cc adapter | grep fcs
fcs0 Available 06-00 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
fcs1 Available 06-01 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
fcs2 Available 07-00 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)
fcs3 Available 07-01 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)


У нас их 4 штуки, два из которых уже используются в продуктивной конфигурации
два других мы используем под наш проект.
Наши адапnеры fcs1 и fcs3 .
смотрим их wwpn -ы
автор
#lscfg -vl fcs1 | grep Network
Network Address.............10000000C9C0A44F
# lscfg -vl fcs3 | grep Network
Network Address.............10000000C9C0A82B


Та как мы их включили в свичи , то идем туда и попробуем их там найти на портах.
первый есть :
автор
>switchshow | grep 10:00:00:00:c9:c0:a4
11 11 020b00 id N8 Online FC F-Port 10:00:00:00:c9:c0:a4:4f

Обратите внимание , wwpn-ы в AIX( VIOS) и на свиче отражатся в разных форматах

второй тоже есть но на другом свиче в другой SAN фабрике )
автор
> switchshow | grep 10:00:00:00:c9:c0:a8
11 11 010b00 id N8 Online FC F-Port 10:00:00:00:c9:c0:a8:2b


То есть с одного VIOSa мы имеем шнурки в 2 фабрики , собственно это то,
что нам нужно в соответствии с диаграммой.

Идем на VIOS2 деалем тоже самое

Дальше идем в HMC управление LPARами

Картинка с другого сайта.

создание виртуальных адаптеров это тема другой статьи , и уже подробно описана в интернетах

смотрим на wwpn адрес адаптера
Картинка с другого сайта.

Тут в соотвествии с диаграмой начинается отвественный момент складывания пазл.
Если, что то перепутать пазлы не складутся и тома видны не будут или будут видны не по всем путям.

Идем по всем адаптерам и переписываем wwpn -ы в какой нибудь эксель

Вот что у меня получилось
Картинка с другого сайта.

Отмеченное желтым будем складывать в общую картину пазлы в SAN.
Зеленым и синим выделены пазлы которые нужно будет сложить в VIOS-ах.

Собственно начнем .....

Попробуем найти виртуальный серверный адаптер
Я его не просто так выделил зеленым, он нам понадобится еще много раз
( в примере работаем с 5-ой строчкой экселевского файла)
VIOS1
# cc=0; while [ $cc -le 21 ] ; do lscfg -vl vfchost$cc | grep C103; cc=`expr $cc + 1 ` ; done
vfchost16 U9117.MMB.0XXXXXX-V1-C103 Virtual FC Server Adapter
Hardware Location Code......U9117.MMB.0XXXXXX-V1-C103

Нашли , его зовут vfchost16

В соотвествии с 5 строчкой экселя говорим VIOS-у логически соеденить
виртуальный адаптер vfchost16 с физическим адаптером fcs1
И проверим результат:
VIOS1
$ vfcmap -vadapter vfchost16 -fcp fcs1
$
$
$ lsmap -npiv -vadapter vfchost16
Name Physloc ClntID ClntName ClntOS
------------- ---------------------------------- ------ -------------- -------
vfchost16 U9117.MMB.0XXXXXX-V1-C103 10

Status:NOT_LOGGED_IN
FC name:fcs1 FC loc code:U78C0.001.DYYYYYY-P2-C1-T2
Ports logged in:0
Flags:4<NOT_LOGGED>
VFC client name: VFC client DRC:




Повторяем процедуру логического мапинга , для всех строчек из экселя.

Ну поехали дальше
Идем на SAN свич в первую фабрику , в экселе она у меня обозначена как V

проверяем что сторадж портами с нужными адресами включен правильно и мы нечего не перепутали
сверяемся с репортом стораджа ( скриншот выше по топику)
и создаем алиасы для портов :
SAN 1 (V)
> switchshow | grep 50:06:0e:80:16:52:79:11
20 20 011400 id N8 Online FC F-Port 50:06:0e:80:16:52:79:11
>alicreate "Vvsp01_cl2b", "50:06:0e:80:16:52:79:11"
>
>switchshow | grep 50:06:0e:80:16:52:79:21
15 15 010f00 id N8 Online FC F-Port 50:06:0e:80:16:52:79:21
>alicreate "Vvsp01_cl3b", "50:06:0e:80:16:52:79:21"


Затем идем в эксель и проверяем тоже самое для портов сервера.
Обратите внимание что форматы представления wwpn -ов разные :
SAN 1 (V)
switchshow | grep 10:00:00:00:c9:c0:a1:bf
16 16 011000 id N8 Online FC F-Port 10:00:00:00:c9:c0:a1:bf

switchshow | grep 10:00:00:00:c9:c0:a8:2b


И тут нас ждет маленький сюрприз , я его специально продсроил.
для адаптера fcs3 из VIOS1 записи не нашлось.
А ненашлось ее потому , что поле мапинга этого адаптера я попытался запустить LPAR
После этого наш порт начал выглядеть так

SAN 1 (V)
switchshow | grep "11 11 "
11 11 010b00 id N8 Online FC F-Port 1 N Port + 0 NPIV public


что бы увидеть там наш wwpn нужно
SAN 1 (V)
>portshow 0/11
portName:
portHealth: HEALTHY

Authentication: None
portDisableReason: None
portCFlags: 0x1
portFlags: 0x1024b03 PRESENT ACTIVE F_PORT G_PORT U_PORT NPIV LOGICAL_ONLINE LOGIN NOELP LED ACCEPT FLOGI
portType: 18.0
POD Port: Port is licensed
portState: 1 Online
Protocol: FC
portPhys: 6 In_Sync portScn: 32 F_Port
port generation number: 23194
state transition count: 39

portId: 010b00
portIfId: 43020009
portWwn: 20:0b:00:05:1e:a5:4c:e3
portWwn of device(s) connected:
10:00:00:00:c9:c0:a8:2b

Distance: normal
portSpeed: N8Gbps

LE domain: 0
FC Fastwrite: OFF
Interrupts: 0 Link_failure: 0 Frjt: 0
Unknown: 24 Loss_of_sync: 19 Fbsy: 0
Lli: 259 Loss_of_sig: 20
Proc_rqrd: 1222 Protocol_err: 0
Timed_out: 0 Invalid_word: 1559266
Rx_flushed: 0 Invalid_crc: 0
Tx_unavail: 0 Delim_err: 0
Free_buffer: 0 Address_err: 0
Overrun: 0 Lr_in: 21
Suspended: 0 Lr_out: 4
Parity_err: 0 Ols_in: 2
2_parity_err: 0 Ols_out: 21
CMI_bus_err: 0

Port part of other ADs: No



Вот он нашелся ,
попытка поднять LPAR включила NPIV режим на порту свича.

Вобщем выяснили что у нас все правильно создаем алиасы подглядывая в эксель

SAN 1 (V)
> alicreate "lp10_c104", "c0:50:76:02:fe:78:00:40"
>
> alicreate "lp10_c105", "c0:50:76:02:fe:78:00:42"


Обратите внимание , в алиасе я использовал идентификатор виртуального адаптера выделенный зеленым в экселе,
мне так проще , вы можете делать как хотите.

Создаем зоны и применяем их к активной конфигурации
SAN 1 (V)
> zonecreate "lp10_c104_Vvsp01_cl2b", "lp10_c104; Vvsp01_cl2b"
> zonecreate "lp10_c105_Vvsp01_cl3b", "lp10_c105; Vvsp01_cl3b"
> zonecreate "lp11_c114_Vvsp01_cl2b", "lp11_c114; Vvsp01_cl2b"
> zonecreate "lp11_c115_Vvsp01_cl3b", "lp11_c115; Vvsp01_cl3b"


> cfgadd "sanconfig", "lp10_c105_Vvsp01_cl3b"
> cfgadd "sanconfig", "lp11_c115_Vvsp01_cl3b"
> cfgadd "sanconfig", "lp10_c104_Vvsp01_cl2b"
> cfgadd "sanconfig", "lp11_c114_Vvsp01_cl2b"

>cfgsave
You are about to save the Defined zoning configuration. This
action will only save the changes on Defined configuration.
Any changes made on the Effective configuration will not
take effect until it is re-enabled.
Do you want to save Defined zoning configuration only? (yes, y, no, n): [no] y
Updating flash ...
>

>cfgenable "sanconfig"
You are about to enable a new zoning configuration.
This action will replace the old zoning configuration with the
current configuration selected. If the update includes changes
to one or more traffic isolation zones, the update may result in
localized disruption to traffic on ports associated with
the traffic isolation zone changes
Do you want to enable ''sanconfig" configuration (yes, y, no, n): [no] y
zone config "sanconfig" is in effect
Updating flash ...



Будьте осторожны с командой
>cfgenable "sanconfig"
Вы должны понимать, что вы сделали и что делаете и к каким результатам это может привести.
Самый худший вариант - отпадание всех или частично устройств( путей)
подключенных через свичи этой фабрики на всех серверах включенных в эти свичи.


Повторяем создание алиасов и зон на второй SAN фабрике.

Дальше идем на сторадж и создаем хостгруппы


Картинка с другого сайта.

Презентуем хостам по одному загрузочному тому .

Запускаем инсталяшку AIX
Картинка с другого сайта.
Наличие тома презентованного по SAN

инсталлим
Картинка с другого сайта.

опять заходим заходим в SMS меню и определяем порядок загрузки проинсталленой системы
в меню выбираем SAN диск , выбираем любой адаптер.
Картинка с другого сайта.

грузим операционку

проверяем, и наводим окончательную чистоту с резервированием путей для загрузки
Картинка с другого сайта.






В cтатье очень многие действия пропущены, если бы я описывал и снимал скришоты со всего,
статья стала бы в 10 раз толще.
Если вы считаете что ее нужно дополнить какими либо деталями , милости прошу в каменты.

Комментарии




Необходимо войти на сайт, чтобы оставлять комментарии