Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Linux скорость ж/д для redo log  [new]
AlexGru
Member

Откуда: Пермь рядом
Сообщений: 1600
День добрый.
Есть линукс сервер SLES11 на нём крутится Oracle 10g.
Сейчас редо логи и файлы данных бд хранятся на сетевом хранилище с доступом iSCSI.
Есть идея наши не такие уж большие активные рудо логи переместить на основной винт с ОС.
Хочу вначале сравнить скорость доступа к сет. хранилищу и к локальному диску.

Подскажите утилиту, как бы это сравнить вначале, перед переносом редо логов?
Как, через какие представления, отчеты awr и т.д. оценить текущую скорость работы с редо логами?

Спасибо.
1 сен 10, 09:15    [9360992]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
wurdu
Member

Откуда: Владивосток
Сообщений: 4441
Можно посмотреть log file parallel write. log file sync также можно, но оно сильно зависит от загрузки CPU.
1 сен 10, 09:20    [9361022]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
доброжелатель...
Guest
AlexGru,

а вы действительно реду логи по железной дороге (ж/д) передаёте
1 сен 10, 09:52    [9361236]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
-2-
Member

Откуда:
Сообщений: 15330
AlexGru,

Онлайн редо рекомендуется зеркалировать. Держите и там и там.
1 сен 10, 10:03    [9361298]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
AlexGru
Member

Откуда: Пермь рядом
Сообщений: 1600
доброжелатель...
AlexGru,
а вы действительно реду логи по железной дороге (ж/д) передаёте

ну получается да!

-2-
AlexGru,
Онлайн редо рекомендуется зеркалировать. Держите и там и там.

а как же быть тогда с быстродействием?
1 сен 10, 10:14    [9361373]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
доброжелатель...
Guest
AlexGru
а как же быть тогда с быстродействием?
выбор между отказоустойчивостью и быстродействием.
на сетевом и внутреннем хранилищах батарейный кэш на запись есть? о чём тогда беспокоиться?
нет? зачем мы тогда говорим о быстродействии?
1 сен 10, 10:20    [9361414]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
AlexGru
Member

Откуда: Пермь рядом
Сообщений: 1600
доброжелатель...,

Ммммм..... я не админ, не знаю есть ли кэш,
но вот что имею.

 /dev/sda2 - Локальный раздел.
 /dev/sdb2 - Сетевой раздел.


К сообщению приложен файл. Размер - 0Kb
1 сен 10, 10:31    [9361528]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
Вячеслав Любомудров
Member

Откуда: Владивосток
Сообщений: 18484
Тебя больше скорость записи должна волновать, а не чтения
1 сен 10, 10:36    [9361568]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
-2-
Member

Откуда:
Сообщений: 15330
Вячеслав Любомудров
Тебя больше скорость записи должна волновать, а не чтения
Да еще синхронная мелкими плевками.
1 сен 10, 10:38    [9361577]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
доброжелатель...
Guest
AlexGru,

линейная скорость ещё ни о чём не говорит.
настройка ввода/вывода - это не простой и продолжительный процесс.
пара вопросов для начала:
1. на локальном диске (шпинделе, а не разделе) кроме реду что-нибудь есть? если да - не кладите туда реду.
2. на сетевом диске ... (тот же вопрос)? если да - вынесите реду на отдельный шпиндель.
впрочем, батарейный кэш на запись достаточного обьёма позволяет пренебречь этими пунктами.
1 сен 10, 10:41    [9361610]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
AlexGru
Member

Откуда: Пермь рядом
Сообщений: 1600
Админит железо и сеть другой человек, который в другом городе.
Попробую его привлечь сюда на форум, чем через третье звено объяснять.
1 сен 10, 10:47    [9361671]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
-2-
Member

Откуда:
Сообщений: 15330
AlexGru
Админит железо и сеть другой человек, который в другом городе.
Теперь понятно, почему волнует скорость железнодорожных перевозок редо-логов.
1 сен 10, 10:53    [9361755]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
AlexGru
Member

Откуда: Пермь рядом
Сообщений: 1600
-2-,
:)
1 сен 10, 11:25    [9362097]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
Pavel Ghost
Member

Откуда: UK
Сообщений: 151
AlexGru,
для тестирования производительности файловых систем вполне подходит bonnie - можно задать различные режимы нагрузки (мелкие/большие файлы и т.п.)
1 сен 10, 12:05    [9362558]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
Alex Roudnev
Member

Откуда: Валнут Крик, Калифорния
Сообщений: 5547
Pavel Ghost
AlexGru,
для тестирования производительности файловых систем вполне подходит bonnie - можно задать различные режимы нагрузки (мелкие/большие файлы и т.п.)


На самом деле первое что нужно сделать - прогнать статспак или эквивалент и посмотреть где (и есть ли вообще) узкое место! Так как по уму нужно redo параллелить хотя бы на 2 разных файловых системы (мы пишем на iSCSI и на локальный диск) - и ТОЛЬКО если они там становятся узким местом, думать как увеличивать скорость. А не оптимизировать нечто что может и значения не имеет, жертвуя надежностью.

(Одиночный РЕДУ может сломаться при полете сервера не задумываясь.)
2 сен 10, 00:23    [9367826]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
Alex Roudnev
Member

Откуда: Валнут Крик, Калифорния
Сообщений: 5547
Pavel Ghost
AlexGru,
для тестирования производительности файловых систем вполне подходит bonnie - можно задать различные режимы нагрузки (мелкие/большие файлы и т.п.)


Я юзаю iozone причем там есть и режим direct io. Но практически для реду хватает обычного dd для сравнения скорости.
2 сен 10, 00:24    [9367829]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
Удалённый админ
Guest
Расположение сервера:

ОС работает в VM на локальных дисках сервера (raid1, 10K rpm). Т.к. диски маленькие (2x76Gb), и всё было заточено под виртуализацию (blade, storage), то редо и все data-файлы положили на iSCSI-раздел (не VMvare-диск, а именно раздел, подключаемый изнутри VM по tcp/ip, чтобы не было прослойки VMware между диском и VM).
Раздел на диске raid5 Hitachi AMS2xxx.
Кэш 4Gb на контроллере. BBU есть.


ИМХО имеет смысл попробовать:
1. Переместить редо на локальный диск (какой размер редо, правда хз, спросите AlexGru). Можно наверное делать фейковый бэкап redo, они ЕМНИП должны обнуляться (просто чтобы влезали на диск).
2. Изменить политику записи redo (писать больше экстентов за раз).
3. Покрутить настройки iSCSI ОС (буферы записи/чтения, и.т.п).

Просьба не пинать, ораклом занимался 3 года назад ("держал свечку").
17 сен 10, 14:40    [9457229]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
вопросец
Guest
удаленному админу.

редо пишется:

1
перенести оно то можно, но на запись редо будут влиять агенте факторы (служебный i/o ос)например и еще что-нибудь кто его использует) под редо надо выделять отдельные шпиндели. только для редо и больше ничего. на каждую нокаут редо из двух мемберов группа из двух независимых винтов. потребуется четыре винта (две группы по два винта для чередования групп из двух мемберов). также нужна пара винтовку в зеркале под архивлоги.

2
каждые три секунды
при заполнении буфера редо на треть
по коммиту
взможно еще когда-то, не помню.

что значит екстенты в реду, не понятно?

редо сделано для как минимум двух целей - и одна из них - заменить беспорядочную массивную запись блоков на диски, заменив последовательной записью только измений данных мелкими порциями. это существенно быстрее сброса массивных по сравнению с редо - блоков данных большими беспорядочными группами из буффер кэша. это дает возможность сократить ввод вывод так как блоки данных долго находятся в буфферном кэше и изменяются там. и вот вторая цель редо - защита изменений которые не сброшены на диск и находятся в памяти.

а вы хотите политику использования редо.


3

покрутите, но это только отсрочить ахтунг.

raid 5 это для чтения с редкой записью.

---
на лицо типичный случай, когда при распределении ресурсов не учтена специфика их использования.

админы бд и прочей инфраструктуры должны контачить друг с другом при закупке оборудования и распределении ресурсов.
17 сен 10, 22:15    [9459970]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
Удалённый админ
Guest
вопросец,

Хорошо быть богатым и здоровым, но в некоторых организациях, крупная сумма, потраченная на "IT" должна автоматически означать, что всё будет тип-топ. Максимальное железо, которым мы располагаем, заточено под типовые виртуальные машины. От AlexGru пришло много проектов на на Oracle. Однако, как мы видим, возможностей для оптимизации быстродействия не так уж и много.
Нет серверов с быстрыми && большими дисками. Есть только хранилище iSCSI. Физические серверы, которые есть в наличии (не blade) не потянут по ресурсам CPU и объёмам. Да и достались в наследство ещё от "царского режима" - отказ череват большими люлями во всех направлениях. Селяви в общем...
20 сен 10, 11:16    [9465434]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
Alex Roudnev
Member

Откуда: Валнут Крик, Калифорния
Сообщений: 5547
Удалённый админ
Расположение сервера:

ОС работает в VM на локальных дисках сервера (raid1, 10K rpm). Т.к. диски маленькие (2x76Gb), и всё было заточено под виртуализацию (blade, storage), то редо и все data-файлы положили на iSCSI-раздел (не VMvare-диск, а именно раздел, подключаемый изнутри VM по tcp/ip, чтобы не было прослойки VMware между диском и VM).
Раздел на диске raid5 Hitachi AMS2xxx.
Кэш 4Gb на контроллере. BBU есть.


ИМХО имеет смысл попробовать:
1. Переместить редо на локальный диск (какой размер редо, правда хз, спросите AlexGru). Можно наверное делать фейковый бэкап redo, они ЕМНИП должны обнуляться (просто чтобы влезали на диск).
2. Изменить политику записи redo (писать больше экстентов за раз).
3. Покрутить настройки iSCSI ОС (буферы записи/чтения, и.т.п).

Просьба не пинать, ораклом занимался 3 года назад ("держал свечку").


А... Я так делаю. Это правильный вариант, так оно быстрее чем через прослойку. Только учтите что в iSCSI сети mtu будет маленьким (1.5 Кб а не 9 Кб).

Тонкости.

ОБЯЗАТЕЛЬНо или filesystem_options=setall, или запустить 4 врайтера. Иначе будет медленно.
21 сен 10, 00:04    [9471133]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
killed
Member

Откуда: Moscow
Сообщений: 3526
Удалённый админ
Расположение сервера:

ОС работает в VM на локальных дисках сервера (raid1, 10K rpm). Т.к. диски маленькие (2x76Gb), и всё было заточено под виртуализацию (blade, storage), то редо и все data-файлы положили на iSCSI-раздел (не VMvare-диск, а именно раздел, подключаемый изнутри VM по tcp/ip, чтобы не было прослойки VMware между диском и VM).
Раздел на диске raid5 Hitachi AMS2xxx.
Кэш 4Gb на контроллере. BBU есть.


ИМХО имеет смысл попробовать:
1. Переместить редо на локальный диск (какой размер редо, правда хз, спросите AlexGru). Можно наверное делать фейковый бэкап redo, они ЕМНИП должны обнуляться (просто чтобы влезали на диск).
2. Изменить политику записи redo (писать больше экстентов за раз).
3. Покрутить настройки iSCSI ОС (буферы записи/чтения, и.т.п).

Просьба не пинать, ораклом занимался 3 года назад ("держал свечку").


имеет смысл перенести на RAID1 вместо пятого.
Что такое экстенты редо - для меня загадка, также как и фейковый бэкап редо. Но звучит страшно.
21 сен 10, 00:41    [9471242]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
Удалённый админ
Guest
killed,

До прочтения http://ragivetova.blogspot.com/2009/01/redo-redo-log-block-size.html
думал, что размер блоков под запись (терминах оракл это как раз экстент ЕМНИП) на устройство у redo тоже меняется. Однако ж..
21 сен 10, 17:15    [9476690]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
AlexGru
Member

Откуда: Пермь рядом
Сообщений: 1600
В дополнение наблюдается такая ситуация:

за сутки после перезапуска сервера.
1)
SELECT VALUE FROM V$SYSSTAT WHERE NAME = 'redo buffer allocation retries'
Набежало 55.

2)
select value as SizeBytes,round(value/1024/1024) as SizeMb from v$parameter where name='log_buffer'
30555136 29

3)
select * from v$log

5 1 5818 209715200 1 YES INACTIVE 1265437291 08.10.2010 6:09:52
6 1 5819 209715200 1 NO CURRENT 1265712432 08.10.2010 6:39:07

4)
select * from v$logfile

5 ONLINE /oraredo/redo_n1.log NO
6 ONLINE /oraredo/redo_n2.log NO

Теперь смотрю по ожиданиям
select ash.EVENT,sum(1) as cnt
from
v$active_session_history ash
group by ash.EVENT
order by sum(1) desc


log file sync 2713
log file parallel write 2428
db file scattered read 748
db file sequential read 673
latch: shared pool 280
control file parallel write 176
latch: library cache 124

Может ли попадание log file sync, log file parallel write в топ говрить о том, что медленно происходит запись в redo???

+ кусок AWR отчета.


Top 5 Timed Events Avg %Total
~~~~~~~~~~~~~~~~~~ wait Call
Event Waits Time (s) (ms) Time Wait Class
------------------------------ ------------ ----------- ------ ------ ----------
CPU time 22,756 96.3
log file parallel write 289,005 458 2 1.9 System I/O
log file sync 252,637 457 2 1.9 Commit
db file scattered read 16,309 156 10 0.7 User I/O
db file sequential read 63,326 66 1 0.3 User I/O
-------------------------------------------------------------

Спасибо.
8 окт 10, 08:27    [9573023]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
wurdu
Member

Откуда: Владивосток
Сообщений: 4441
AlexGru
Может ли попадание log file sync, log file parallel write в топ говрить о том, что медленно происходит запись в redo???
Любое попадание в любой топ само по себе ни о чем не говорит. Особенно если оно в топе с 1.9%. А 2 ms для log file parallel write - вполне нормальное время. И log file sync включает в себя log file parallel write.
8 окт 10, 08:32    [9573042]     Ответить | Цитировать Сообщить модератору
 Re: Linux скорость ж/д для redo log  [new]
AlexGru
Member

Откуда: Пермь рядом
Сообщений: 1600
wurdu,
:) Я так понимаю как бы ни была оптимально настроена конфигурация и написано приложение для БД. Всегда что-то будет в топе!!!!!?
И не факт, что стоит/необходимо/хорошо бы что-то еще оптимизировать., вы об этом?
8 окт 10, 08:37    [9573054]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Oracle Ответить