Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4 5 6   вперед  Ctrl      все
 Использование RAID-массива из 12 дисков  [new]
Eugene_p1
Member

Откуда: Москва
Сообщений: 295
Здравствуйте.

Имеется: IBM x3850 + внешний дисковый массив 12x146Gb SAS.
На сервере вертится SQL сервер. Система на встроенном дисковом массиве.

На текущий момент отношение чтение/запись на вскидку 15:1
Насколько оправдано иметь на внешнем массиве 2 RAID1 (отдельно данные и лог) (модель simple !!!) + RAID5 под бэкапы/файлы?
Не будет ли более быстрой конфигурация вроде RAID6 на всё, или RAID6 на данные+лог и RAID5 на остальное?

На мой взгляд, лог можно держать вместе с данными, т.к. при такой модели лог неактуален. А вот на каком массиве их разместить?

Также, если переводить этот сервер под VmWare ESXi и поднимать SQL-сервер уже на виртуальной машине, какая конфигурация будет интересна?
7 окт 09, 22:07    [7755948]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5499
Блог
Поиском принципиально не пользуетесь? RAID

Из трех понятий "SQL Server", "виртуализация", "производительность" можно одновременно выбрать только 2.
7 окт 09, 22:18    [7755963]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Eugene_p1
Member

Откуда: Москва
Сообщений: 295
Поиском принципиально пользуюсь и воспользовался, но не нашел ответа на свой вопрос.

А можно подробнее аргументировать вашу мысль о выборе 2 из 3?
8 окт 09, 08:43    [7756661]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Eugene_p1
Member

Откуда: Москва
Сообщений: 295
DeColo®es
Поиском принципиально не пользуетесь? RAID

И кстати тему про 12 дисков тоже читал. Так там ни к чему и не пришли.
8 окт 09, 08:44    [7756668]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10715
Блог
Eugene_p1
...На текущий момент отношение чтение/запись на вскидку 15:1...


Совершенно неоправдано ориентироваться по этому соотношению для SQL Server.
Да пусть будет хоть 1500/1 , это не оправдает потери от RAID5 или RAID6. Рационально будет увеличивать число зеркал и, соответственно, число файлов данных на этих зеркалах. Не уверен, что для копий нужен RAID5, вполне сойдёт и RAID0. Примеры сайзинга 12 дисков можно найти тут: http://msmvps.com/blogs/gladchenko/archive/2009/06/09/1694801.aspx


Зачем Вы поставили восклицательные знаки возле simple? ...может показаться, что использование простой модели восттановления снимает нагрузку по протоколированию операций.... В Вашем случае лучше смотреть, что показывает sys.dm_os_wait_stats, и уже по этим результатам принимать решение, куда двигаться...
8 окт 09, 11:37    [7757590]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
KGP
Member

Откуда: Москва
Сообщений: 4557
Александр Гладченко
Не уверен, что для копий нужен RAID5, вполне сойдёт и RAID0


Надо уточнять что означает - бэкапы/файлы ... у автора нет, имхо, проблем со скоростью IO, а отказоустойчивость, даже для backup не помешает.

PS: Автор, надеюсь не хранит baсkup на одном storage, где и база данных ... только создает их там, а потом куда-то копирует?
8 окт 09, 11:52    [7757699]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
AlexanderVS
Member

Откуда: Krasnoyarsk
Сообщений: 433
Я бы, при необходимости выделить отдельно место под бэкапы и прочее, сделал бы RAID5 из 6 дисков, а под базы - RAID10 на оставшихся 6ти дисках, порезав его на 2 LUNа под данные и журнал.

PS У нас на 3850M2 стоит vmvare и на виртуальной машине поднят SQL Server, но ТОЛЬКО для РЕЗЕРВНОЙ и тестовой баз данных. Рабочий сервер на отдельном 3850M2.
8 окт 09, 12:02    [7757772]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
a_shats
Member

Откуда: Москва
Сообщений: 814
Я бы подумал насчет добавить в сервер ОЗУ. Слишком много чтения в смысле.
А вот после этого посмотрел бы на получившуюся нагрузку, и, скорее всего, рекомендовал бы RAID10 из всех винтов - все же 12 винтов это не слишком много.
И еще момент: совмещать на одном массиве столь разноплановые нагрузки (БД и файловый сервер) - некомильфо.
8 окт 09, 12:08    [7757821]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
DeColo®es
Member

Откуда: Москва
Сообщений: 5499
Блог
Eugene_p1
А можно подробнее аргументировать вашу мысль о выборе 2 из 3?
Для начала встречный вопрос - зачем Вы хотите виртуализировать SQL Server?
8 окт 09, 12:45    [7758105]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10715
Блог
AlexanderVS
Я бы, при необходимости выделить отдельно место под бэкапы и прочее, сделал бы RAID5 из 6 дисков, а под базы - RAID10 на оставшихся 6ти дисках, порезав его на 2 LUNа под данные и журнал.

PS У нас на 3850M2 стоит vmvare и на виртуальной машине поднят SQL Server, но ТОЛЬКО для РЕЗЕРВНОЙ и тестовой баз данных. Рабочий сервер на отдельном 3850M2.


Яркий пример того, как нельзя делать сайзинг и виртуализация даже для сервера копий не к месту!

Сообщение было отредактировано: 8 окт 09, 12:55
8 окт 09, 12:54    [7758160]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10715
Блог
a_shats
Я бы подумал насчет добавить в сервер ОЗУ. Слишком много чтения в смысле.
А вот после этого посмотрел бы на получившуюся нагрузку, и, скорее всего, рекомендовал бы RAID10 из всех винтов - все же 12 винтов это не слишком много.
И еще момент: совмещать на одном массиве столь разноплановые нагрузки (БД и файловый сервер) - некомильфо.


Задайтесь вопросом, что станет с производительностью дисковой подсистемы, если выйдет из строя один диск массива RAID10?
8 окт 09, 12:57    [7758178]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Eugene_p1
Member

Откуда: Москва
Сообщений: 295
Спасибо большое всем ответившим!

Я еще поискал инфу по теме, как же всё сложно и спорно! :)

Для начала уточнение.
При рабочей нагрузке на сервере активно порядка 700 соединений от 150-180 пользователей.

Загрузка процов (общая) средняя 10%, максимальная 40%.
Средняя длина очереди чтения диска - 94, записи - 1.5

Maximum workspace memory = 570 Mb
Optimizer memory = 40 Mb
SQL Cache memory = 5 Mb
Cache Hit Ratio = 94%
Target SQL Memory = Total Server memory = 25 Gb
То есть из 32 гиг памяти 25 жестко отведено SQL серверу, и по моим подозрениям, он использует процентов 20 от неё.

Размер баз (их там 14) - 150 Гиг.
Диски:
Data (RAID 1)
Log (RAID 1)
Other (RAID 5)
На Other лежит tempdb.

С базой работает софт с толстых клиентов. Я его править не могу.
В процессе работы иногда система "замерзает" на некоторое время, но это случается довольно редко.

Но самая значительная проблема возникает во время ночного бэкапа + пересчета и переноса документов. Это занимает порядка 6-8 часов, из которых бэкап - менее часа.

Итак, вопросы:
Как понять, сколько памяти нужно SQL серверу?
Какие счетчики смотреть для определения bottleneck?
Что думаете насчет такой организации:
6хRAID 10 - Data
4xRAID 10 - Log, tempdb, +место для сохранения бэкапа (с последующим скидыванием его на другой объект).
2xHotswap или 1xHotswap + 1xStandalone Disk

Почитав о производительности RAID 5/6 понял, что это не наш вариант. :)

Александр Гладченко

Зачем Вы поставили восклицательные знаки возле simple? ...может показаться, что использование простой модели восстановления снимает нагрузку по протоколированию операций.... В Вашем случае лучше смотреть, что показывает sys.dm_os_wait_stats, и уже по этим результатам принимать решение, куда двигаться...

Спасибо большое за детализацию.
Почитал приведеные вами доводы против SQL сервера на виртуальной машине - очень убедительно. Соглашусь, т.к. не имею знаний чтобы аргументировать.

Выделил simple так как по моему представлению :) , операции с логом при этой модели гораздо менее интенсивные.
Как я понимаю, я ошибаюсь?
8 окт 09, 13:02    [7758220]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
vino
Member

Откуда:
Сообщений: 1191
А какая железа и канал на
Eugene_p1
внешний дисковый массив 12x146Gb SAS.
? и еще напомню - насчет HotSpare не забыли?
8 окт 09, 13:03    [7758228]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Eugene_p1
Member

Откуда: Москва
Сообщений: 295
Да, извиняюсь.
select @@version = Microsoft SQL Server 2000 - 8.00.2273 (Intel X86) Mar 7 2008 22:19:58 Copyright (c) 1988-2003 Microsoft Corporation Enterprise Edition on Windows NT 5.2 (Build 3790: Service Pack 2)
8 окт 09, 13:06    [7758251]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Eugene_p1
Member

Откуда: Москва
Сообщений: 295
DeColo®es
Eugene_p1
А можно подробнее аргументировать вашу мысль о выборе 2 из 3?
Для начала встречный вопрос - зачем Вы хотите виртуализировать SQL Server?

У меня порядка 15 серверов на Core2Duo рабочих станциях - наследство.
Хотел перевести их на мощный сервер, особенно с учетом того, что он используется на 20-40% по процу и кмк 40-50% по памяти.
Но поскольку на этом мощном сервере стоит SQL Server, думал и его виртуализировать.
Видимо ошибаюсь.
Теперь задумался об использовании VMWare Server для виртуализации рядом с SQL сервером. Дисковый массив базы данных не буду использовать.
Но аргументы с удовольствием прочитаю, т.к. знания не помешают.
8 окт 09, 13:11    [7758294]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Eugene_p1
Member

Откуда: Москва
Сообщений: 295
vino
А какая железа и канал на
Eugene_p1
внешний дисковый массив 12x146Gb SAS.
? и еще напомню - насчет HotSpare не забыли?

1. Массив IBM DS 3400, канал хз (Host Interface: Fibre)
2. Никак нет.
8 окт 09, 13:16    [7758344]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
AlexanderVS
Member

Откуда: Krasnoyarsk
Сообщений: 433
Александр Гладченко
AlexanderVS
Я бы, при необходимости выделить отдельно место под бэкапы и прочее, сделал бы RAID5 из 6 дисков, а под базы - RAID10 на оставшихся 6ти дисках, порезав его на 2 LUNа под данные и журнал.

PS У нас на 3850M2 стоит vmvare и на виртуальной машине поднят SQL Server, но ТОЛЬКО для РЕЗЕРВНОЙ и тестовой баз данных. Рабочий сервер на отдельном 3850M2.


Яркий пример того, как нельзя делать сайзинг и виртуализация даже для сервера копий не к месту!

Насчет первого - согласен, не очень удачно. Но бывает, что нет альтернатив.
Насчет виртуализации сервера с зеркальной и тестовой БД - Почему? Базы лежат не навиртуальном диске, а на диской полке.
8 окт 09, 13:29    [7758438]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Eugene_p1
Member

Откуда: Москва
Сообщений: 295
Вот здесь, в конце (Выводы), высказана мысль о том, что
"Как показывает практика многочисленных тестов, возможности балансирования нагрузки ввода вывода между физическими дисками у SQL Server лучше, чем у аппаратных средств. Т.е. часто отказ от использования RAID-массивов позволяет в итоге получить более высокую производительность, чем на том же количестве шпинделей, но собранных в RAID любого уровня."

Насколько эта идея жизнеспособна?
Как можно организовать такой режим (использование SQL Server'ом нескольких дисков для одной базы)?
8 окт 09, 13:39    [7758519]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10715
Блог
AlexanderVS
...Насчет виртуализации сервера с зеркальной и тестовой БД - Почему? Базы лежат не навиртуальном диске, а на диской полке.


Потому что у MS ещё нет такой версии SQL Server, которая учитывала бы виртуализацию. Пока что есть инструкции, как виртуализовать SQL Server 2008 (более древние версии вообще нельзя на виртуалку ставить), но нигде не написано, что это хорошая практика... да и понятно, ведь оптимизатор ничего про виртуальную среду для этой версии не знает.
Можно привести наглядный пример с архивированием файлов баз данных, который показателен с точки зрения того, как нельзя использовать то, что доступно... Физически, архивирование файлов данных и журналов можно было делать всегда и, как не странно, это работало. Но поддержка компрессии файлов данных появилась только в последних версиях, и теперь такое сжатие считается хорошей практикой. Причина в том, что сжатие теперь умеет учитывать оптимизатор.
8 окт 09, 13:49    [7758609]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10715
Блог
Eugene_p1
Вот здесь, в конце (Выводы), высказана мысль о том, что
"Как показывает практика многочисленных тестов, возможности балансирования нагрузки ввода вывода между физическими дисками у SQL Server лучше, чем у аппаратных средств. Т.е. часто отказ от использования RAID-массивов позволяет в итоге получить более высокую производительность, чем на том же количестве шпинделей, но собранных в RAID любого уровня."

Насколько эта идея жизнеспособна?
Как можно организовать такой режим (использование SQL Server'ом нескольких дисков для одной базы)?


Требования ACID не предписывают избыточность для файлов данных, только для журналов. Т.е. (если мыслить по поводу полки с 12 дисками) можно отдать 10 одиночных дисков под 10 файлов данных и RAID1 под журнал. Тогда, если производительности RAID1 достаточно для эффективного журналирования, будет получена максимальная производительность ввода-вывода (и чтение и запись). Я это видел на практике. Вполне резонно, для тех инсталляций, где бизнес-требования допускают достаточно времени на восстановление из копии из-за отказов диска.

Сообщение было отредактировано: 8 окт 09, 13:55
8 окт 09, 13:54    [7758652]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
Eugene_p1
Member

Откуда: Москва
Сообщений: 295
Александр Гладченко

Требования ACID не предписывают избыточность для файлов данных, только для журналов. Т.е. (если мыслить по поводу полки с 12 дисками) можно отдать 10 одиночных дисков под 10 файлов данных и RAID1 под журнал. Тогда, если производительности RAID1 достаточно для эффективного журналирования, будет получена максимальная производительность ввода-вывода (и чтение и запись). Я это видел на практике. Вполне резонно, для тех инсталляций, где бизнес-требования допускают достаточно времени на восстановление из копии из-за отказов диска.

То есть, я создаю несколько FileGroups (по одной на диск) и в каждой по файлу данных? Как я скажу серверу распределить данные по файлам?

А какая при такой организации должна быть модель восстановления?

Где можно подробнее прочитать про это (или keywords)?
8 окт 09, 15:02    [7759149]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
vino
Member

Откуда:
Сообщений: 1191
Eugene_p1
vino
А какая железа и канал на
Eugene_p1
внешний дисковый массив 12x146Gb SAS.
? и еще напомню - насчет HotSpare не забыли?

1. Массив IBM DS 3400, канал хз (Host Interface: Fibre)
2. Никак нет.
это где же запасной диск размещен, раз там всего 12 отсеков, или расширитель имеется? и x3850 реально через fibre с массивом работает?
Также не сказано о размерах БД и прогнозах роста, необходимости в быстрой TempDB...
как же тут можно советовать деление на независимые диски, например, 2 отвести на лог d raid1 и 8 отдать на еще 4 raid1 под БД, а один, возможно, - на бэкапы?
поэтому и советуют сделать простой raid10
8 окт 09, 15:16    [7759276]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
vino
Member

Откуда:
Сообщений: 1191
Eugene_p1
Александр Гладченко

Требования ACID не предписывают избыточность для файлов данных, только для журналов. Т.е. (если мыслить по поводу полки с 12 дисками) можно отдать 10 одиночных дисков под 10 файлов данных и RAID1 под журнал. Тогда, если производительности RAID1 достаточно для эффективного журналирования, будет получена максимальная производительность ввода-вывода (и чтение и запись). Я это видел на практике. Вполне резонно, для тех инсталляций, где бизнес-требования допускают достаточно времени на восстановление из копии из-за отказов диска.

То есть, я создаю несколько FileGroups (по одной на диск) и в каждой по файлу данных? Как я скажу серверу распределить данные по файлам?

А какая при такой организации должна быть модель восстановления?

Где можно подробнее прочитать про это (или keywords)?
разве трудно про файловые группы почитать
8 окт 09, 15:19    [7759306]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
a_shats
Member

Откуда: Москва
Сообщений: 814
Александр Гладченко,

Задайтесь вопросом, что станет с производительностью дисковой подсистемы, если выйдет из строя один диск массива RAID10?

Ровно то же самое, что станет при выходе из строя диска в массиве с любым отказоустойчивым уровнем RAID (т.е. не 0). Производительность массива снизится на производительность одного диска.
И ?
8 окт 09, 15:29    [7759436]     Ответить | Цитировать Сообщить модератору
 Re: Использование RAID-массива из 12 дисков  [new]
a_shats
Member

Откуда: Москва
Сообщений: 814
Александр Гладченко,

Т.е. (если мыслить по поводу полки с 12 дисками) можно отдать 10 одиночных дисков под 10 файлов данных и RAID1 под журнал.

Мегаизврат, который очень серьезно осложнит жизнь админу, ответственному за этот сервер.
И выигрыш в производительности - в наилучшем случае - будет не настолько велик, чтобы ради него рисковать простоем сервера при отвале одного из дисков.
8 окт 09, 15:32    [7759476]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4 5 6   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить