Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Добрый день,

Наблюдаю более 1K записей в секунду в активные логи средствами мониторинга DB2.

При этом записей в базу происходит всего лишь около 200 в секунду, т.е. в активные логи пишется в 5 и более раз интенсивнее,
чем каталоги данных. Соответственно на хранилище вся эта нагрузка ложится в первую очередь на SLOG общего ZFS пула и потом раскидывается по дискам пула каждые 5 секунд. При этом утилизация HDD иногда поднимается почти до 100%.

Но какой смысл писать относительно небольшие активные логи на HDD да еще и за**рать ими L2ARC?

Наверно, нужно создать небольшой пул ZFS всего из одного зеркала nvRAM и целиков отдать его под активные логи?

Утилизация nvRAM очень низкая. Как мне кажется это очень сильно должно разгрузить основной пул ZFS, в т.ч. перестанет засорять его L2ARC.

Проблема только в том, как снэпшотить?

Ни разу не снэпшотил несколько датасетов одновременно.

Как думаете, можно ли после write suspend снэпшотить данные в двух разных пулах?
21 сен 16, 14:43    [19692490]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
спрашиваю это на символичном:

S0006999.LOG

:)

недавно DB2 подвисла на логе S0006666.LOG



интересно, с чем это связано?



да, и кстати у нас нагрузка на DB2 выросла за последние месяцы в несколько раз, если не на порядок, по крайне мере судя по объему данных при синхронизации ZFS
21 сен 16, 14:49    [19692523]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
и запас зеркалированного nvRAM в десятки раз превышает объем всех первичных и вторичных активных логов
21 сен 16, 14:52    [19692536]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
lspci | grep -i mem
08:00.0 Non-Volatile memory controller: Intel Corporation Device 0953 (rev 01)
0c:00.0 Non-Volatile memory controller: Intel Corporation Device 0953 (rev 01)

Intel DC 3700
23 сен 16, 11:00    [19699397]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
почему никто не дает советы в эту ветку?
неужели не пробовали?
может это нонсенс так делать
или такие рецепты только для небесплатных приватных клиентов?

может быть, у DB2 есть какой-то специальный режим подключения SSD кэш?
23 сен 16, 11:03    [19699415]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Какие существуют еще методики для повышения производительности именно за счет разнесения отдельных частей базы по разным хранилищам?

Т.е. какие еще каталоги базы можно расбросать по разным хранилищам и это бы дало профит в виде прироста производительности?
23 сен 16, 11:15    [19699484]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 999
dbtwoshnick
почему никто не дает советы в эту ветку? ...

Потому что Вы бодро беседуете сами с собой. За вами банально не успевают.

Кстати, если уж начинать сначала:
dbtwoshnick
Наблюдаю более 1K записей в секунду в активные логи средствами мониторинга DB2.

Как именно? Большинство вещей в DB2 можно мониторить самыми различными способами.

BTW Была короткая ветка - 18013298.

PS Почему DB2 "подвисла" на каком-то конкретном логе - да кто ж его знает. Провидцев тут нет, нужна информация о коде ошибки и сообщении, если таковые были, что там в это время в db2diag.log. И вообще, что значит "подвисла на логе"???
23 сен 16, 12:27    [19699953]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
mitek
Member

Откуда:
Сообщений: 605
dbtwoshnick
почему никто не дает советы в эту ветку?
неужели не пробовали?

видимо потому-что немногие используют ZFS и его снепшоты под БД
dbtwoshnick
может это нонсенс так делать

"так" это как ? логи класть на SSD ? ну если у вас соответствующая нагрузка, то почему бы и нет.
dbtwoshnick
или такие рецепты только для небесплатных приватных клиентов?

гугол бесплатен для всех.
dbtwoshnick
может быть, у DB2 есть какой-то специальный режим подключения SSD кэш?

нет, но можно поиграться с multitemperature storage, если DB2 версии V10.1 и выше
23 сен 16, 12:29    [19699968]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
mitek
Member

Откуда:
Сообщений: 605
dbtwoshnick
Какие существуют еще методики для повышения производительности именно за счет разнесения отдельных частей базы по разным хранилищам?

Т.е. какие еще каталоги базы можно расбросать по разным хранилищам и это бы дало профит в виде прироста производительности?


стандартная рекомендация : логи/storage path's/темпы на отдельные fs/lv/vg/raid
23 сен 16, 12:35    [19700009]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
mitek
темпы на отдельные fs/lv/vg/raid


темпы - это что-то связанное с временными таблицами?
23 сен 16, 13:43    [19700457]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
mitek
нет, но можно поиграться с multitemperature storage, если DB2 версии V10.1 и выше


V9.7
23 сен 16, 14:07    [19700588]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
mitek
Member

Откуда:
Сообщений: 605
dbtwoshnick

темпы - это что-то связанное с временными таблицами?


да, temporary tablespaces
23 сен 16, 14:25    [19700683]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
mitek
dbtwoshnick
Какие существуют еще методики для повышения производительности именно за счет разнесения отдельных частей базы по разным хранилищам?

Т.е. какие еще каталоги базы можно расбросать по разным хранилищам и это бы дало профит в виде прироста производительности?


стандартная рекомендация : логи/storage path's/темпы на отдельные fs/lv/vg/raid


а каким транспортом их лучше цеплять?

NFS/iSCSI?
23 сен 16, 14:34    [19700747]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
mitek
Member

Откуда:
Сообщений: 605
dbtwoshnick
а каким транспортом их лучше цеплять?

NFS/iSCSI?

FC :)
23 сен 16, 14:46    [19700845]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
так даже полоса гигабитного ethernet не заполняется
23 сен 16, 14:50    [19700879]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
mitek
dbtwoshnick
а каким транспортом их лучше цеплять?

NFS/iSCSI?

FC :)


в смысле Fibre Channel?
23 сен 16, 14:56    [19700912]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
mitek
Member

Откуда:
Сообщений: 605
dbtwoshnick
в смысле Fibre Channel?

да
23 сен 16, 15:00    [19700933]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
mitek
dbtwoshnick
в смысле Fibre Channel?

да


так ведь FC - это протокол внизу стэка под TCP/IP?
или хранилища по нему напрямую и работают без TCP/IP?

а поверх TCP/IP какой протокол посоветуете для каталогов DB2?
например, из этих двух: iSCSI или NFS?
23 сен 16, 15:49    [19701340]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
mitek
Member

Откуда:
Сообщений: 605
dbtwoshnick
так ведь FC - это протокол внизу стэка под TCP/IP?
или хранилища по нему напрямую и работают без TCP/IP?

Основы Fibre Channel
dbtwoshnick
а поверх TCP/IP какой протокол посоветуете для каталогов DB2?
например, из этих двух: iSCSI или NFS?

Не посоветую, потому что не использую. Но если бы приспичило, то выбрал бы NFS на .... Netapp СХД :)
23 сен 16, 16:11    [19701444]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
mitek
то выбрал бы NFS на .... Netapp СХД :)


потому что Netapp знаменит быстрым синхронным NFS для ESX?
23 сен 16, 16:18    [19701483]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
mitek
Member

Откуда:
Сообщений: 605
dbtwoshnick

потому что Netapp знаменит быстрым синхронным NFS для ESX?

потому что в этом случае для своих БД мне бы хотелось иметь нечто более надежное и предсказуемое чем ZFS на Linux-сервере ;-)
23 сен 16, 16:42    [19701598]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
mitek
dbtwoshnick
потому что Netapp знаменит быстрым синхронным NFS для ESX?

потому что в этом случае для своих БД мне бы хотелось иметь нечто более надежное и предсказуемое чем ZFS на Linux-сервере ;-)


а где ZFS достаточно надежен кроме солярки?
23 сен 16, 16:55    [19701655]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
Перенес активный лог DB2 на NVRAM SSD, максимальная скорость обмена данными в каталоге активных логов теперь ограничена только гигабитным каналом.

В разы упала утилизация HDD, примерно во столько же увеличилась скорость ZFS репликации со вторым хранилищем.

Мне теперь кажется, что размещение активного лога на SSD зеркале (пром. enterprise для датацентров) - это один из самых простых способов увеличения производительности DB2.
26 сен 16, 09:37    [19707253]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
серые waiting хвосты в htop на хосте DB2 исчезли
да и вообще теперь большая часть ядер простаивает
наверно, потому что быстро выполняют свою работу и не ждут хранилища
26 сен 16, 09:41    [19707266]     Ответить | Цитировать Сообщить модератору
 Re: Стоит ли активные логи перебросить в отдельный ZFS пул из nvRAM SSD?  [new]
dbtwoshnick
Member

Откуда:
Сообщений: 160
по словам пользователей, теперь комплекс летает :) в рабочее время под нагрузкой
и это при падении утилизации HDD (всего лишь ЧЕТЫРЕХ HDD причем под управлением ZFS on Linux) в несколько раз!

только непонятно все же что делать с реорганизацией :(

база растет, а количество прокачиваемых за ночь IOPs-ов в сторону HDD по понятным причинам не растет ...
и кроме как добавлением количества шпинделей навряд ли можно решить эту задачу
ну или в режиме sync=disabled с огромным кол-вом оперативки, но уж проще наверно увеличить количество HDD?
26 сен 16, 12:31    [19708062]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Ответить