Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Выбор дисковой системы  [new]
andsm
Member

Откуда: Москва
Сообщений: 1320
Блог
Имеется работающая система. Бизнес ожидает что нагрузка на систему в ближайшие примерно полгода вырастет в несколько раз. Анализ производительности показывает что узким местом для масштабирования является сервер БД (SQL Server 2005), а точнее скорость дисковых операций, и при улучшении дисковой системы ожидаемую нагрузку система нормально выдержит.
Ожидаемые параметры БД: 1-1.5 Тб размер БД, 128 Гб транзакшн лог. Во время пиковой нагрузки 450 Мбайт в секунду чтений из лога транзакций (настроена транзакционная репликация), 150 Мбайт в секунду запись. Транзакции - мелкие, добавления/изменения 2-5 записей, до 12 000 транзакций в секунду, управляются с сервера (вызываются хранимки, они открывают транзакцию и т.п.). Несколько раз в день идут большие транзакции, переносящие данные из активных таблиц в архивные. Пиковые нагрузки ожидаются что будут длится несколько минут, остальное время нагрузка в районе от 40 до 80% от пиковой. 24х6, OLTP система. Физических чтений из файлов данных можно сказать что нет, кроме как во время старта системы, раз в несколько месяцев.
Думаю что использовать для дисковой.
Варианты какие рассматриваю:
1. Поместить все на RamSan 620 с 2 Тб размера. Плюсы - хорошая скорость и на чтение и на запись. Минусы - скорость записи на SSD около 3 мс, отдельные транзакции будут подтормаживать. Другой минус - недешево, причем нужно заплатить все сразу.
2. RamSan 400 для лога транзакций и Dell/EMC CX4-120 для данных. Добавлять диски в CX по мере роста активности. - Распределение таблиц по файлгруппам в зависимости от типа нагрузки давно сделано. Плюсы - запись в лог транзакций быстрее чем в предудущем варианте, индивидуальные транзакции в среднем будут записаны на 1-2 мс быстрее. Риски вызванные расходами на DAE для CX также снижаются, так как докупаются по мере необходимости. Цена скорее всего как в первом варианте.
3. Dell/EMC CX 4-120. Обычные диски для файлов данных, enterprise flash drives для транзакшн лога. Общался на эту тему с консультантами из Dell, слышал цифры что один enterprise flash drive держит 10000 IOPS random reads и 3000 IOPS random writes. В этом случае производительность должна быть как в первом варианте и похуже чем во втором, дешевле чем предыдущие варианты, и позволяет вначале взять дисков не по максимуму и добавить потом. Еще минус - так как чекпойнты пойдут по тому же FC что и запись в лог, могут плохо влиять на скорость транзакций.

Общался на эту тему с Dell, еще пообщаюсь с консультантами от Texas Memory (RamSAN-ы).
Пока склоняюсь к 3-му варианту.
Кто что использует в аналогичных условиях, видит ли какие-либо проблемы в описанных конфигурациях?
23 июн 09, 15:51    [7333829]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
komrad
Member

Откуда:
Сообщений: 5739
andsm
Имеется работающая система. Бизнес ожидает что нагрузка на систему в ближайшие примерно полгода вырастет в несколько раз. Анализ производительности показывает что узким местом для масштабирования является сервер БД (SQL Server 2005), а точнее скорость дисковых операций, и при улучшении дисковой системы ожидаемую нагрузку система нормально выдержит.


распишите что у вас сейчас с дисковой подсистемой
и с расположением базы по файлам, файлов по дискам и т.п.

а то отталкиваться не от чего...
23 июн 09, 16:28    [7334129]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
a_shats
Member

Откуда: Москва
Сообщений: 814
andsm,

К сожалению, опыта реальной эксплуатации железа под такими задачами у мну нет, есть только всякие расчеты и success stories.
Потому только общие соображения:
- не стоит городить зоопарк под такую задачу из двух вендоров. Решаетесь на ЕМС - делайте на ЕМС, и так далее.
- не стоит склоняться на дешевые решения, они вместе с достоинствами в виде в т.ч. имеют и недостатки. Которые могут перевесить все остальное.
Это я к чему - CX4-120, имхо, недостаточно. Вам стоит смотреть на железо чуть выше классом. EMC CX4-240 хотя бы, раз выбор из них. Критичные параметры выбора - производительность контроллера, количество портов к хостам, объемы кэша, масштабируемость.
И да, для них, насколько мне известно, есть нормальные SSD c приличествующей производительностью. То есть - вполне можно использовать их под лог, винты - под данные.
Ну то есть - я бы тоже рекомендовал 3-ий вариант, хотя и на железе потолще :) И соответствующий вариант сервисного контракта (с гарантированным временем реакции 24х7).
RamSAN - тут вообще вопрос... Выглядит-то здорово, но что-то не слышно об их массовых инсталляциях где бы то ни было. Сумнительно, в общем.
Повторюсь - все имхо, основанное не на личном опыте. Так что можно во внимание и не принимать :)
23 июн 09, 16:57    [7334318]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
PUPER
Member

Откуда:
Сообщений: 2
andsm,

Коллега !

Первое... Хочу заострить внимание о миллисекундах и микросекундах

У классических HDD доступ определяется в "мс" (милли... или 1/1000 секунды) а SSD - в "мкс" (микро... или 1/1000000)... Соответственно SSD - в тысячу раз быстрее. На практике в IOps'ах в 100 (как раз время доступа и время циклов записи/чтения определяет скорость выполнения I/O)

Для вашей задаче я бы смотрел в сторону Hi-End Storage virtualization... на этом рунке лидер USP-V /VM от Hitachi Data System (на основе этих СХД строят свой Hi-End такие вендоры как IBM,HP, SUN)...
...одна из многочисленные его "фишек" - умеет в кеше (512Гб) делать Виртуал LUNы храня всю инфу там, и одновременно делать TruCopy в LUNы на SSD... производительность в этом случае Hit Read/Tempory Write из кеша до 1.2Mega IOps у USP-VM и 4Mega IOps у USP-V!

http://www.hds.com/products/storage-systems/universal-storage-platform-v.html
http://www.hds.com/products/storage-systems/universal-storage-platform-vm.html
http://www.hds.com/assets/pdf/hitachi-universal-storage-platform-v-datasheet.pdf

Сообщение было отредактировано: 25 июн 09, 12:19
24 июн 09, 11:18    [7336367]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
PUPER
Member

Откуда:
Сообщений: 2
Так же добавлю... Все СХД от HDS (SMS100, AMS/WMS series, USP-V/VM) являются полностью аппаратными решениями на основе FPGA логике
24 июн 09, 11:49    [7336604]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
andsm
Member

Откуда: Москва
Сообщений: 1320
Блог
a_shats
andsm,

К сожалению, опыта реальной эксплуатации железа под такими задачами у мну нет, есть только всякие расчеты и success stories.
Потому только общие соображения:
- не стоит городить зоопарк под такую задачу из двух вендоров. Решаетесь на ЕМС - делайте на ЕМС, и так далее.
- не стоит склоняться на дешевые решения, они вместе с достоинствами в виде в т.ч. имеют и недостатки. Которые могут перевесить все остальное.
Это я к чему - CX4-120, имхо, недостаточно. Вам стоит смотреть на железо чуть выше классом. EMC CX4-240 хотя бы, раз выбор из них. Критичные параметры выбора - производительность контроллера, количество портов к хостам, объемы кэша, масштабируемость.
И да, для них, насколько мне известно, есть нормальные SSD c приличествующей производительностью. То есть - вполне можно использовать их под лог, винты - под данные.
Ну то есть - я бы тоже рекомендовал 3-ий вариант, хотя и на железе потолще :) И соответствующий вариант сервисного контракта (с гарантированным временем реакции 24х7).
RamSAN - тут вообще вопрос... Выглядит-то здорово, но что-то не слышно об их массовых инсталляциях где бы то ни было. Сумнительно, в общем.
Повторюсь - все имхо, основанное не на личном опыте. Так что можно во внимание и не принимать :)

Вариант с одним вендором мне тоже нравится больше.
По CX4-240 - непонятно чем он лучше CX4-120. 120 дисков должно быть достаточно. Кеш - 6 ГБ у 120 и 8 Гб у 240, разница небольшая. И я догадываюсь что эти 6 Гб легко превращаются в 3 Гб (зеркалирование), а затем в ~2-2.5 Гб (минус системная область памяти кеша). Количество контроллеров одинаковое. Так чем он лучше?
Контракты - да конечно, у нас все сервера и дисковые системы от Dell идут с gold support contract.
RamSAN-ы - у нас стоит, Ram based (не SSD), RamSAN 400. Отлично работает, никаких замечаний. Но пока они действительно массово не используются, насколько знаю.

2 PUPER
Спасибо, обязательно прочитаю.
Надеюсь еще, что стоимость возможных решений от HDS меряется не в млн$, иначе это вне рамок бюджета.
24 июн 09, 13:37    [7337447]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
Маннанов Рустем
Member

Откуда: Kazan City
Сообщений: 351
SAN и конечные порты справится с такой нагрузкой? В качестве Disaster Recovery в масштабе площадки что используете?

ИМХО самый наименее рисковый №3, но по затратам он м.б. дороже №1 и 2 причем с вероятностью что лог на RAMSan окажется быстрее. Я бы на вашем месте попросил в тестирование по полке с SSD от обоих и сравнил - учитывая стоимость контракта оба вендора пойдут навстречу я думаю. Примете решения "основывываясь на объективных данных тестирования".

Что за система если не секрет? Хотя бы в общих словах, без коммерческих тайн)))
25 июн 09, 13:58    [7342916]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
andsm
Member

Откуда: Москва
Сообщений: 1320
Блог
Маннанов Рустем
SAN и конечные порты справится с такой нагрузкой? В качестве Disaster Recovery в масштабе площадки что используете?

ИМХО самый наименее рисковый №3, но по затратам он м.б. дороже №1 и 2 причем с вероятностью что лог на RAMSan окажется быстрее. Я бы на вашем месте попросил в тестирование по полке с SSD от обоих и сравнил - учитывая стоимость контракта оба вендора пойдут навстречу я думаю. Примете решения "основывываясь на объективных данных тестирования".

Что за система если не секрет? Хотя бы в общих словах, без коммерческих тайн)))

Порты справится должны. Чтобы убедится в этом, будет тестирование - оборудование купим только после него.
С Disaster recovery пока не очень. Есть резервный сервер, но время переключения на него большое, сможем исправить только примерно через полгода.
Система - финансы, биржевая торговля. Каждая транзакция - постановка нового ордера каким-то трейдером или изменение состояния ордера.

А по дисковой системе мне что-то вариант с парой RamSAN 440, по 512 Гб каждый, стал нравится. Требования к размеру БД можно снизить до примерно 700 Гб, если хранить данные только примерно за неделю, а остальное убирать а архивную базу. - Бизнес с этим изменением времени хранения согласен.
26 июн 09, 16:17    [7349180]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
Маннанов Рустем
Member

Откуда: Kazan City
Сообщений: 351
andsm

С Disaster recovery пока не очень. Есть резервный сервер, но время переключения на него большое, сможем исправить только примерно через полгода.

Вот тут то может включиться преймущество решений EMC по сравнению с RamSan, т.к. у них интергация mid и high-end СХД с DR software оч хорошая(причем не только со "своим родным") - если есть прицел на организацию DR в "обозримом будущем" есть смысл заранее продумать как и какими средствами все это будет организовано. В вашем случае, судя по нагрузке, возможны неприятности в плане недостаточности производительности софт-решений DR - тогда придется эту проблему решать средствами СХД - а тут EMC далеко впереди RAMSan в плане интеграции с "сторонним софтом", всевозможных "фич" СХД и количества предлагаемых на рынке решений.
27 июн 09, 15:02    [7351281]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
andsm
Member

Откуда: Москва
Сообщений: 1320
Блог
Остановились в итоге на RamSAN 620 с 2Тб размера, заказали его пару недель назад. Обещают прислать через несколько недель.
По сравнению с EMC CX4-120 с SSD дисками, он как ни странно получается заметно дешевле - почти на 60k$ дешевле. При этом, по спецификации, у него намного выше производительность.
Как буду тестировать напишу что получится, может кому будет интересно.
23 июл 09, 15:59    [7452103]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
Alexes
Member

Откуда:
Сообщений: 1100
Каковы результаты тестирования?
10 сен 09, 08:34    [7639950]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
andsm
Member

Откуда: Москва
Сообщений: 1320
Блог
Alexes
Каковы результаты тестирования?

В целом хорошо. 250 000 IOPS которые производитель обещает на сайте - оказались достижимы только для случая если RamSAN 620 используется разом множеством серверов. Для одного сервера и для одной базы данных вначале он показывал ~1500 IOPS на запись в лог транзакций, хуже чем EMC CX300. После таких результатов TMS (производитель ramsan) подготовил для нас патч на фирмваре. Поставили, тесты на новом фирмваре показали ~25000 IOPS на запись в лог транзакций. Говорят что это предел, и на последовательную запись он больше не потянет. Влияние чекпойнтов на запись в лог практически отсутствует.
RamSAN 620 уже поставлен в продакшн. При конфигурации для продакшн была куча новых проблем. Не получалось сконфигурировать windows cluster - во время тестирование тестировали не на кластере, и проблем с конфигурацией кластера не ожидали. TMS выкатила для нас очередной патч фирмваре. Поставили, получилось сконфигурить кластер.
Сейчас работает хорошо в продакшн, каких-то замечаний нет.
Осталось от всего этого странное впечатление как будто мы были чуть ли не первыми кто заказал RamSAN 620 под SQL Server. Когда например год назад покупали RamSAN 400, все прошло быстро и гладко, не требовались никакие патчи фирмваре.
10 сен 09, 10:45    [7640489]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: Выбор дисковой системы  [new]
andsm
Member

Откуда: Москва
Сообщений: 1320
Блог
Со времени начала топика прошло немало времени. У нас куплено уже несколько RamSAN 620, есть RamSAN-ы других марок.
Недавно у нас в Лондоне на RamSAN 620 вышла из строя одна флешкарта.
Автоматическое восстановление при сбое тоже упало. Связались с TMS немедленно при обнаружении проблемы, они лишь смогли сказать что это такая ошибка при которой все данные на устройстве теряются. Где обещанное no single point of failure и полное дублирование всех компонент для RamSAN, я что-то не понял.
Вообще-то падение было в удачное время, на выходных, поэтому на пользователях не сказалось.
Потом переписывались с TMS как предотвратить подобные проблемы в будущем, они не смогли предложить ничего лучше синхронного мирроринга в SQL Server. Предложение довольно глупое, потому что убивает производительность, а зачем тогда нужен RamSAN?
От RamSAN отказываться не собираемся из-за их хорошей производительности, а возможные проблемы с его надежностью решили при помощи geoclustering.
В общем, используйте их с осторожностью - есть опасность полной потери данных на устройстве.
22 дек 10, 17:38    [9983241]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
автор
Связались с TMS немедленно при обнаружении проблемы, они лишь смогли сказать что это такая ошибка при которой все данные на устройстве теряются. Где обещанное no single point of failure и полное дублирование всех компонент для RamSAN, я что-то не понял.


Жесть какая-то. Ну его, эти SSD. Уж лучше на старых добрых HDD.
22 дек 10, 17:55    [9983369]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
Andrey Sribnyak
Member

Откуда: Киев
Сообщений: 600
andsm
От RamSAN отказываться не собираемся из-за их хорошей производительности, а возможные проблемы с его надежностью решили при помощи geoclustering.


Я что-то пропустил и MSSQL уже поддерживает geoclustering?
22 дек 10, 18:09    [9983526]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
andsm
Member

Откуда: Москва
Сообщений: 1320
Блог
Andrey Sribnyak
andsm
От RamSAN отказываться не собираемся из-за их хорошей производительности, а возможные проблемы с его надежностью решили при помощи geoclustering.


Я что-то пропустил и MSSQL уже поддерживает geoclustering?

У нас используется самописное решение
22 дек 10, 18:20    [9983612]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
andsm
Member

Откуда: Москва
Сообщений: 1320
Блог
Andrey Sribnyak
andsm
От RamSAN отказываться не собираемся из-за их хорошей производительности, а возможные проблемы с его надежностью решили при помощи geoclustering.


Я что-то пропустил и MSSQL уже поддерживает geoclustering?

Да поддерживает - для этого можно использовать мирроринг.
22 дек 10, 18:21    [9983623]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
reneclub
Guest
Ребята подскажите думаю для 1с+SQL поставить ssd sata3.
Просто будет ли прирост по сравнению с SAS HDD.
29 май 11, 16:18    [10727267]     Ответить | Цитировать Сообщить модератору
 Re: Выбор дисковой системы  [new]
Antoshka
Member

Откуда:
Сообщений: 828
Прирост будет. Только проверьте диски на совместимость с контроллером
29 май 11, 18:55    [10727538]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить