Управление производетельность дискового ввода вывода

добавлено: 11 июн 15
понравилось:0
просмотров: 1313
комментов: 0

теги:

Автор: ДохтаР

В последнее время происводители хранилищ данных
начали предлагать температурную оптимизацию хранения.
Она заключается в том, что часто используемые данные тома
презентованного хосту хранятся на быстрых носителях ,
а редко испольуемые на более дешевых.
Помимо разного типа носителей,
данная фича требует дополнительного лицензирования.
У меня давно чесались руки на эту тему.
И вот наконец то я заставил себя углубиться в тему, спасибо модераторам месного форума за бан :)
Хочу поделиться идtей и получить обратную связь от сообщества на эту тему.


Имеем AIX 6.1 и волюм группу
автор
lsvg -p dbvg
dbvg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdisk26 active 834 422 86..01..01..167..167
hdisk27 active 834 425 88..03..00..167..167
hdisk28 active 834 422 87..01..00..167..167
hdisk29 active 835 352 18..00..00..167..167
hdisk200 active 834 34 00..00..00..03..31
hdisk201 active 834 13 00..00..00..06..07
hdisk202 active 834 32 10..00..06..05..11
hdisk203 active 834 27 03..00..07..05..12
hdisk204 active 834 9 00..00..00..06..03
hdisk205 active 834 26 09..03..05..03..06
hdisk206 active 834 22 00..00..07..09..06
hdisk207 active 834 24 01..00..08..09..06
hdisk208 active 834 27 00..00..12..09..06
hdisk209 active 834 16 00..00..04..04..08
hdisk47 active 834 21 03..04..00..01..13
hdisk48 active 834 40 01..00..00..03..36
hdisk49 active 834 16 00..00..00..04..12
hdisk50 active 834 3 00..00..02..01..00
hdisk51 active 834 0 00..00..00..00..00
hdisk52 active 834 7 01..03..00..02..01
hdisk53 active 834 12 00..00..00..01..11
hdisk54 active 834 3 00..00..00..01..02
hdisk55 active 834 2 01..00..00..00..01
hdisk56 active 834 9 01..01..02..00..05
hdisk57 active 834 16 02..00..02..00..12
hdisk58 active 834 72 05..00..00..04..63
hdisk59 active 834 4 00..00..00..01..03
hdisk60 active 834 26 14..00..02..00..10
hdisk61 active 834 24 00..00..06..09..09
hdisk62 active 834 15 00..00..00..00..15
hdisk63 active 834 83 04..00..13..57..09
hdisk64 active 834 9 03..01..00..05..00
hdisk65 active 834 78 06..01..00..06..65
hdisk66 active 834 3 01..00..00..01..01
hdisk67 active 834 19 04..00..00..01..14


Обратите внимание, на именование физических томов
hdisk20[0-9] это тома лежащие на твердотельных дисках.
Прочие тома лежат на обычных SAS дисках.
Переименовать физические тома можно командой rendev
но до того как они добавлены в волюм группу.
По другому отличить типы дисков можно с помощью команды
lscfg -vl
lscfg -vl hdisk200
hdisk200 U9117.MMB.ХХХХХХ-V3-C4-T1-W50060E8006D50C30-L57000000000000 Hitachi Disk Array (Fibre)

Manufacturer................HITACHI
Machine Type and Model......OPEN-V
Part Number.................v..-
ROS Level and ID............37303036
Serial Number...............50 00000
EC Level....................
FRU Number..................
Device Specific.(Z0)........00000332EF000002
Device Specific.(Z1)........090C 1A ....

Device Specific.(Z2).........
Device Specific.(Z3).........
Device Specific.(Z4).........-
Device Specific.(Z5).........P
Device Specific.(Z6)........


Но это потребует от вас знания архитектуры хранилища, с которого
презентованы физические тома.

Суть идеии и задачи переместить активно используемые данные
на быстрые диски , а мало активные на меденные.
Что бы знать, что куда перемещать нужно понимать какая часть поверхности
физического тома как используется. В этом нам поможет lvmstat.

Сбор статистики
for lv in `lsvg -l dbvg | awk '{print $1}'`; do echo $lv; lvmstat -l $lv | sed 's/^[ ]*//'| awk -v lv="$lv" '{ print lv ":" $0}' ; done | sort -n -k 4,4 > blk


В результате получаем файл следующей структуры
автор
f320:71       1  123336    917864    348200      0.07
temp08:78 1 123651 7361304 7483936 0.80
f306:64 1 125151 411876 836392 0.07
f288:11 1 127379 1009344 264816 0.07
redo03:2 1 131069 2883584 2883584 0.31
control01:1 1 11126446 179554020 789968 9.75

Первая колонка логически том (lv) : логическая партиция (LP) в третьей колонке количество операций ввода вывода.
Собственно я ориентируюсь по количеству операций ввода вывода для размещения логической партиции
LP либо на быстром либо на медленном носителе.

Для принятия решения о переразмещении могут быть другие критерии , собственно о них я хотел бы
спросить у сообщетсва .

Продолжение следует .....

Забегая на перед, набор сктиптов который я нарисовал
генерирует команды следующего вида,
migratelp f253/60 hdisk26
migratelp f264/29 hdisk27
migratelp f272/25 hdisk28
migratelp f273/26 hdisk29
migratelp f274/58 hdisk48
migratelp f275/60 hdisk58
migratelp f278/33 hdisk60
migratelp f286/29 hdisk61
migratelp f291/56 hdisk63
migratelp f293/78 hdisk65
migratelp f299/79 hdisk26
migratelp f317/60 hdisk27

которые непосредственно выполняют перенос LP
с одних носителей на другие абсолютно прозрачно для приложений, которые используют
файловые системы или сырые устройства.
Низко нагруженные логические партиции переностятся с быстрых дисков на медленные
, а высоканагруженные с медленных на быстрые.

Комментарии




Необходимо войти на сайт, чтобы оставлять комментарии