Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Informix Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
 Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Павел. С
Member

Откуда:
Сообщений: 212
Добрый день!

Решили переносить БД на новый сервер. Меняется практически все: версия IDS, OS, железо.
Перед тем как этим заниматься решил проверить, насколько новое железо шустрее. Был удивлен:
на новом сервере производительность дисковой подсистемы на синтетических бенчмарках ниже, чем на старом. Не могу понять причину... Буду рад, если здесь помогут.
Вопрос больше к системщикам, чем к DBA, но, думаю, найдутся люди, которым интересно )) Все-таки сервер делается для Информикса.

Сервер раз
CPU - 2 шт. 4 ядра Xeon 2.33
RAM - 2 GB
OS - Win2003 под IA32
тестируемый контроллер - внутренний, PCI-E 8x, 256 MB кеша (50/50).
физ. диски - 2х SAS 10k RPM 72 GB. Внутри сервера. Кеш дисков выключен.
тестируемый диск - собран из 2х физ. дисков в RAID 1. ОС видит 1 диск. Кеширование в Windows выключено.

Сервер два
CPU - 2 шт. 2 ядра Xeon 2.66
RAM - 8 GB
OS - Linux RH 5. под x64.
тестируемый контроллер - внутренний, PCI-X 133 64 bit, 256 MB кеша (50/50).
физ. диски - 24х SAS 15k RPM 72 GB. Внешние. Кеш дисков выключен.
тестируемый диск - собран из 24х физ. дисков в RAID 10. ОС видит 1 диск. Файловой системы нет.

На обоих серверах последние стабильные драйвера и прошивки контроллеров и дисков.

Бенчмарк
Тестировал iometer'ом. Заставлял его в несколько (8) потоков читать с тестируемого диска данные блоками по 2Кб. Случайно. Размер "области" для случайного чтения 10 GB. На первом сервере "область" - это файл на диске. Во втором - просто блочное устройство. Все потоки за чтением обращаются к одной и той же "области".
Тест гонял по 10 минут на каждом сервере. Получил результат:
сервер раз - 610 IO per sec
сервер два - 450 IO per sec

Внимание, вопрос: почему диск из 12ти зеркал оказался быстрее, чем диск из одного зеркала?!?!? Причем физ. диски во втором случае сами по себе быстрее.

У меня есть несколько предположений, но все они кажутся мне маловероятными:
1) я что-то криво настроил )))
2) у меня сбоит железо.
3) Linux работает с этим железом не так как надо
4) мой бенчмарк не подходит для сравнения производительности дисков на разных ОС.
5) Я чего-то не понимаю, и количество дисков в массиве (2 против 24) не должно влиять на общую производительность системы при рандомном чтении в несколько потоков.

Кстати, предполагаю, что из-за размера страницы Информикса в 4 КB, на Win2003 я получу значительно большую скорость работы самой БД (IO в секунду столько же, а МБ в секунду в 2 раза больше). Я не ошибаюсь?

П.С. Делал еще один бенчмарк на сервере три. Там тоже Win2003 и NAS из 12 дисков в RAID 10. Там получил 1200 IO per sec.
9 сен 09, 12:25    [7636317]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
Павел. С

5) Я чего-то не понимаю, и количество дисков в массиве (2 против 24) не должно влиять на общую производительность системы при рандомном чтении в несколько потоков.
с точностью до наоборот.
1-й поток читает с диска 1 (и замирает 10мс seek)
2-й поток в это же время с диска 4 seek 10мс
3-й ждет диск 1 стоит в очереди
4-й поток читает диск 2
и т.д.

Размер блока в информиксе я думаю стоит ставить 16кб, т.к. все современные контроллеры оптимизируют на огромные размеры в сотни кб.
9 сен 09, 12:36    [7636419]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
кол-во потоков в асинхронном режиме не принципиально. Т.е. мы контроллеру кидаем команды читай, читай, читай, читай, читай, пиши, читай, читай, читай, контроллер асинхронно отвечает готово пользуйся, готово пользуйся,готово пользуйся,готово пользуйся,
9 сен 09, 12:41    [7636473]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
сервер раз - 610 IO per sec
сервер два - 450 IO per sec
разницы конечный пользователь не заметит. Т.к. io на 99% кеширован.
9 сен 09, 12:46    [7636520]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Павел. С
Member

Откуда:
Сообщений: 212
Павел. С
5) Я чего-то не понимаю, и количество дисков в массиве (2 против 24) не должно влиять на общую производительность системы при рандомном чтении в несколько потоков.

Журавлев Денис
с точностью до наоборот.

Денис, поясните, пожалуйста, какое из моих утверждений "с точностью до наоборот" ) Никак не могу сориентироваться.
9 сен 09, 13:07    [7636712]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
автор
почему диск из 12ти зеркал оказался быстрее, чем диск из одного зеркала?!?!?

Потому что так и должно быть

автор
5) Я чего-то не понимаю, и количество дисков в массиве (2 против 24) не должно влиять на общую производительность системы при рандомном чтении в несколько потоков.

должно.


больше дисков -> больше иопсов. Пока не упремся в ограничения контроллера или нагружающей системы.

Сообщение было отредактировано: 9 сен 09, 13:49
9 сен 09, 13:47    [7636939]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
a_shats
Member

Откуда: Москва
Сообщений: 814
Павел. С

сервер раз - 610 IO per sec
сервер два - 450 IO per sec

Внимание, вопрос: почему диск из 12ти зеркал оказался быстрее, чем диск из одного зеркала?!?!? Причем физ. диски во втором случае сами по себе быстрее.

У меня есть несколько предположений, но все они кажутся мне маловероятными:
1) я что-то криво настроил )))
2) у меня сбоит железо.
3) Linux работает с этим железом не так как надо
4) мой бенчмарк не подходит для сравнения производительности дисков на разных ОС.
5) Я чего-то не понимаю, и количество дисков в массиве (2 против 24) не должно влиять на общую производительность системы при рандомном чтении в несколько потоков.

Кстати, предполагаю, что из-за размера страницы Информикса в 4 КB, на Win2003 я получу значительно большую скорость работы самой БД (IO в секунду столько же, а МБ в секунду в 2 раза больше). Я не ошибаюсь?

П.С. Делал еще один бенчмарк на сервере три. Там тоже Win2003 и NAS из 12 дисков в RAID 10. Там получил 1200 IO per sec.


Outstanding I/Os сколько ?
Или Вы 1 поток операций чтения 2К блоками мерили ? :)
Ну, Вы поняли

Сообщение было отредактировано: 9 сен 09, 13:55
9 сен 09, 13:52    [7636976]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
a_shats
Member

Откуда: Москва
Сообщений: 814
Павел. С,

И вдогонку: iometer под Линукс - было много сообщений о глюках и кривости измерений.
Используйте iozone - но тщательно смотрите и выбирайте параметры тестирования.
9 сен 09, 13:53    [7636982]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
Проведите тест на файлике 100мб (чтобы влез в кеш контроллера) и блоках 2кб. -- узнаете максимум пролезающий сквозь контроллер, шину pcie и iometer.
9 сен 09, 13:54    [7636992]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Павел. С
Добрый день!

...

Кстати, предполагаю, что из-за размера страницы Информикса в 4 КB, на Win2003 я получу значительно большую скорость работы самой БД (IO в секунду столько же, а МБ в секунду в 2 раза больше). Я не ошибаюсь?


Размер страницы в dbspace в Linux (как и в Windows) можно менять начиная с 10 версии информикса. А если используется LVM то в нем все равно чтение будет идти блоками (сразу по несколько страниц) а не страницами.
9 сен 09, 13:59    [7637019]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
Andron

Размер страницы в dbspace в Linux (как и в Windows) можно менять начиная с 10 версии информикса. А если используется LVM то в нем все равно чтение будет идти блоками (сразу по несколько страниц) а не страницами.

с чего вдруг? надо 2кб, lvm прочитает 2кб
9 сен 09, 14:01    [7637034]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Мне наш админ AIX сказал что блоками :)
9 сен 09, 14:03    [7637045]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
a_shats
Member

Откуда: Москва
Сообщений: 814
Журавлев Денис
Проведите тест на файлике 100мб (чтобы влез в кеш контроллера) и блоках 2кб. -- узнаете максимум пролезающий сквозь контроллер, шину pcie и iometer.


Это можно и так посмотреть - тут
9 сен 09, 14:15    [7637123]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Павел. С
Member

Откуда:
Сообщений: 212
Я
Внимание, вопрос: почему диск из 12ти зеркал оказался быстрее, чем диск из одного зеркала?!?!?


Вот тут я круто описАлся... Вопрос звучит так:

почему диск из 12ти зеркал оказался медленнее, чем диск из одного зеркала?!?!?
9 сен 09, 14:16    [7637135]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Павел. С
Member

Откуда:
Сообщений: 212
Журавлев Денис

больше дисков -> больше иопсов. Пока не упремся в ограничения контроллера или нагружающей системы.


Я топик как раз создал, т.к. это правило у меня не выполняется.

На первом сервере мало дисков - много иопсов
На втором сервере много дисков - мало иопсов. Причем здесь диске шустрее.
9 сен 09, 14:32    [7637231]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Павел. С
Member

Откуда:
Сообщений: 212
a_shats

Outstanding I/Os сколько ?
Или Вы 1 поток операций чтения 2К блоками мерили ? :)
Ну, Вы поняли


Потоков iometer'а 8. На всех бенчмарках.
Outstanding I/Os 1. Пробовал менять. На значениях 1-100 нет вообще никакой разницы. На значениях от 500 и выше - скорость (IO/s) падает.
9 сен 09, 14:34    [7637245]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
Andron
Мне наш админ AIX сказал что блоками :)
там Read ahead есть, но отключаемый

Сообщение было отредактировано: 9 сен 09, 15:13
9 сен 09, 14:37    [7637272]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
Павел. С
Журавлев Денис

больше дисков -> больше иопсов. Пока не упремся в ограничения контроллера или нагружающей системы.


Я топик как раз создал, т.к. это правило у меня не выполняется.

На первом сервере мало дисков - много иопсов
На втором сервере много дисков - мало иопсов. Причем здесь диске шустрее.
для начала попробуйте в линуксе на маленьком размере 50мб, сколько иопсов будет.
9 сен 09, 14:43    [7637315]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Журавлев Денис,

А если скажем используется какой нибудь RAID, то чтение идет опять же блоками или страницами приложения?
9 сен 09, 14:47    [7637339]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
Andron
Журавлев Денис,

А если скажем используется какой нибудь RAID, то чтение идет опять же блоками или страницами приложения?
зависит от контроллера и типа рейда. Я уже сказал что оптимизируют их в строну сотен килобайт, т.е. какая разница что он может или не может считать 2 кб, если он 128 кб читает за тоже время.

Сообщение было отредактировано: 9 сен 09, 14:51
9 сен 09, 14:50    [7637370]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Павел. С
Member

Откуда:
Сообщений: 212
Журавлев Денис
Проведите тест на файлике 100мб (чтобы влез в кеш контроллера) и блоках 2кб. -- узнаете максимум пролезающий сквозь контроллер, шину pcie и iometer.


Провел. Все то же самое (8 потоков, рандомное чтение по 2КБ), только файл 40 МБ.

Первый сервер (Win2003, 2 диска) - 57 000 IO/s
Второй сервер (Linux, 24 диска) - 1 650 IO/s
Причем sar -d на втором сервер дает вот что:
02:50:26 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
02:50:28 PM dev105-96 2293.97 9175.88 0.00 4.00 1.11 0.49 0.44 100.55
9 сен 09, 14:51    [7637377]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Журавлев Денис
Member

Откуда: St.John,NB,CA
Сообщений: 5532
1650 очень мало, что-то не так, или с линуком или с мерялкой

попробуйте для начала перейти на raw
http://oraclepitstop.wordpress.com/2008/02/15/raw-devices-on-rhel-5-or-oel-5/

Сообщение было отредактировано: 9 сен 09, 15:05
9 сен 09, 14:57    [7637419]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
onstat-
Member

Откуда:
Сообщений: 6941
Andron
Мне наш админ AIX сказал что блоками :)



Попробуйте сравнить
чтение из /dev/lv_name ( блочное)
и из /dev/rlv_name ( символьное)

разница даст повод задуматься и Вам и админу.


2 Павел. С

Под линухом Вы какое устройство тестирует блочное или символьное ?
9 сен 09, 15:19    [7637589]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
Павел. С
Member

Откуда:
Сообщений: 212
onstat-


2 Павел. С

Под линухом Вы какое устройство тестирует блочное или символьное ?


Блочное.
9 сен 09, 15:26    [7637635]     Ответить | Цитировать Сообщить модератору
 Re: Плохая производительность дисковой подсистемы на сервере под Informix.  [new]
onstat-
Member

Откуда:
Сообщений: 6941
Журавлев Денис


попробуйте для начала перейти на raw
http://oraclepitstop.wordpress.com/2008/02/15/raw-devices-on-rhel-5-or-oel-5/



Вот еще один интересный способ через udev.
9 сен 09, 15:31    [7637661]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
Все форумы / Informix Ответить