Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
Доброе время суток.

Планируем переезд на новое железо.
Стоит несколько баз 1С, уперлись уже во все что можно - озу и диски(perfmon): очередь к дискам довольно длительное время 5-6, свободно ОЗУ почти никогда нет.
С самой крупной базой работают неспешно 5-6 человек, но это центральная база в РИБ(распределенная информационная база), около 140 филиалов. Полный цикл обмена с филиалами занимает около 1 часа.
Текущие размеры ФАЙЛОВ баз(руками никогда не обрезал), Гб:
Данные(фактически занято) Лог(фактически занято)
База 1с 205(175) 200(1)
tempdb 33(0,1) 5(0,4)

Есть ресурсоемкие операции:
1) Обмен с филиалами работает практически 24/7. Периодичность раз в час, т.е. он практически не останавливается - закончися и сразу начался новый.
2) ЗАкрытие месяца - раз в месяц, длится часов 6. В этот момент выключается обмен с филиалами.

К сожалению с методикой мониторинга производительности MS SQL не знаком. Если нужно - могу привести какие-нибудь дополнительные цифры.

Сервер уже заказан:
2-х процессорный сервер на SuperMicro
2 х E5-2640v4
128 Gb DDR4 ECC Reg
6 х 400 Gb SSD HS Intel 3710
2 х 960 Gb SSD HS SOHO модель
2 х 4 Tb Seagate SATA
LSI 3108 SAS3 2 Gb + cachevault

Пока планировал распределить диски так:
6 ssd intel = 10 raid = ОС, SQL, 1С сервер, файлы БД, файлы tempdb
2 ssd soho = 10 raid = файлы тестовых БД и прочие файлы для разработки
2 HDD = 1 raid = файлы бэкапов.

Но почитав
https://www.sql.ru/forum/962667/kak-razbit-diski-i-raspredelit-po-na-servere
https://social.technet.microsoft.com/Forums/ru-RU/aaef334b-806b-47c4-9cf5-4a537fd31a42/-ms-sql-?forum=sqlperf
я теперь не так уверен...

Может быть будет оптимальнее:
2 ssd intel = 1 raid = ОС, SQL, 1С сервер
2 ssd intel = 1 raid = БД, tempdb
2 ssd intel = 1 raid = БД лог, tempdb лог
2 ssd soho = 10 raid = файлы тестовых БД и прочие файлы для разработки
2 HDD = 1 raid = файлы бэкапов.

Посоветуйте оптимальное распределение по дискам.

PS:На ssd soho не хочу ничего серьезного класть, т.к. их надежность под вопросом.
11 ноя 16, 12:38    [19882578]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
С форума 1с советуют:
место для файлов данных должно быть в 2 раза больше чем размер базы
место для tempdb - половина от размера базы
место для журнала транзакций - половина от размера базы

Но если делать raid1 из ssd intel 400 Гб(по факту это где-то 350 Гб) может просто не хватить места.
Поэтому мне видится такое решение:
1) raid 1 2 х 400 Gb SSD HS Intel = ОС, SQL, 1С
2) raid 10 4 х 400 Gb SSD HS Intel = Базы данных + логи
3) raid 0 2 х 960 Gb SSD HS SOHO модель = tempdb база и логи

ЗЫ: появляется вообще шальная идея ОС, SQL, 1С сервер разместить на raid1 HDD, только профиль пользователя, под которым работает 1С сервер перенести на быстрый диск
11 ноя 16, 13:48    [19883028]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5114
FragMaster
Стоит несколько баз 1С, уперлись уже во все что можно...
К сожалению с методикой мониторинга производительности MS SQL не знаком.
Почему же, в такой ситуации, не нанять знающего бойца, на пару дней (он вам заодно, походу и расскажет на что смотреть и, что делать если...)? Как всегда жаба душит?
11 ноя 16, 14:37    [19883311]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
Дедушка
FragMaster
Стоит несколько баз 1С, уперлись уже во все что можно...
К сожалению с методикой мониторинга производительности MS SQL не знаком.
Почему же, в такой ситуации, не нанять знающего бойца, на пару дней (он вам заодно, походу и расскажет на что смотреть и, что делать если...)? Как всегда жаба душит?

Да, в общем-то, тут и без спеца понятно - по perfmon все видно.
11 ноя 16, 14:50    [19883409]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
edyaN
Member

Откуда:
Сообщений: 185
закажите памяти лучше 512 ГБ.
А по дискам была статья от Александра Гладченко про тестирование и конфигурацию дисков с помощью sqlio.
11 ноя 16, 15:15    [19883652]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
Crazy_Driver
Member

Откуда: α2000 = 14ч39м36с,5, δ2000 = -60°50'02"
Сообщений: 876
Зачем SSD раскладывать по разным RAID? Не нужно тянуть сюда пережитки прошлого. 6 в RAID5, остальные в зеркала. Я сомневаюсь, что 100+к иопс будет вам мало. Ибо даже мидранж СХД столько не выдают.
11 ноя 16, 16:30    [19884113]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
uaggster
Member

Откуда:
Сообщений: 946
FragMaster
Пока планировал распределить диски так:
6 ssd intel = 10 raid = ОС, SQL, 1С сервер, файлы БД, файлы tempdb
2 ssd soho = 10 raid = файлы тестовых БД и прочие файлы для разработки
2 HDD = 1 raid = файлы бэкапов.

А Вы знаете...
Примерно так и оставьте!

Резоны следующие:
Статьи писались под HDD, а у них существенно меньше и линейная скорость, и случайная, и латентность.
И для рейда на ssd вы можете получить совсем другие закономерности.
Так что все эти рекомендации, про то, что файлы темпдб хорошо было бы вынести на отдельный рейд, чтобы доступ к ним был бы параллельным с доступом к файлам БД - он, безусловно, абстрактно хороши, но не конкретно для каждого случая.

Не совсем понятно, как Вы собирались выставить 2 диска в 10 рейд, когда нужно минимум 4?

Далее...
FragMaster
2 HDD = 1 raid = файлы бэкапов.

Вот это - категорически недопустимо!!!
Нельзя, нельзя, НЕЛЬЗЯ(!!!) хранить бэкапы физически на том же сервере, что и БД.
Вы их можете на тот же сервер делать, но потом, в рамках той же самой операции бэкапа - скопировать их по сети на место постоянного хранения.
Не можете позволить себе бэкап-сервер? Вытащите из кладовки 10-ти летней давности рухлядь, воткните в нее 4 (или больше) самых дешевых десктопных 4Тб (ну, или 3Тб) грина (ну или еще какой пакости), воткните гигабитную сетевуху, и лейте данные туда. И диски в рейд - не объединяйте.
Потому что это - бэкапы.
Боитесь за сохранность?
Настройте задачу, которая будет считать MD5-хеш по файлу бэкапа и сравнивать... ну, с записанной при создании бэкапа.
(Ну, или купите библиотеку, если бюджет позволяет)

Далее...
ОС быстрый жесткий диск не нужен, от слова совсем. Урежьте ее в аппетитах, можете файл подкачки куда нибудь в быстрое место отсадить, если он вам нужен.

Тестовые базы зачем на быстрые диски?
Разработчикам полезно тормозное железо. Чтобы не создавалось иллюзий, что их продукт - "летает".

Резюме:
Идеальный дисковый массив выглядит как:
1. Зеркало под систему и программы.
2. 10 под данные
3. 10 под логи
4. Зеркало или 10 - под темпдб.
5. Зеркало - под мусор.

Но - идеал - недостижим... :-(
11 ноя 16, 16:49    [19884194]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
Crazy_Driver
Member

Откуда: α2000 = 14ч39м36с,5, δ2000 = -60°50'02"
Сообщений: 876
uaggster

Резюме:
Идеальный дисковый массив выглядит как:
1. Зеркало под систему и программы.
2. 10 под данные
3. 10 под логи
4. Зеркало или 10 - под темпдб.
5. Зеркало - под мусор.

Но - идеал - недостижим... :-(


Зачем так делать на SSD? 6 SSD Enterprise необходимого объема в RAID5 на современном контроллере переплюнут по быстродействию хайэнд СХД 5-8 летней давности стоимостью в сотни тысяч долларов.
11 ноя 16, 17:09    [19884263]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
uaggster,Crazy_Driver, edyaN
Спасибо за конструктивные ответы...

Пожалуй остановлюсь на варианте:

6 ssd intel = 10 raid = ОС, SQL, 1С сервер, файлы БД, файлы tempdb
2 ssd soho = 1 raid = файлы тестовых БД и прочие файлы для разработки
2 HDD = 1 raid = файлы бэкапов, разработки, бэкапы будут копироваться на другой комп.

Буду рад любым конструктивным предложениям.

ЗЫ:почитаю Александра Гладченко про тестирование и конфигурацию дисков с помощью sqlio, возможно проделаю несколько тестов на разных конфигурациях массивов
12 ноя 16, 10:37    [19885578]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
Злой Бобр
Member

Откуда: Украина, Кривой Рог
Сообщений: 3562
FragMaster

Для начала поймите что нельзя ставить на одну железку и боевую базу и базу для разработчиков. Как показывает опыт ничего хорошего из этого не выходит. Поэтому поставьте для разработчиков отдельную железку и пусть там гребутся. Благо для этого нет необходимости покупать супер сервер.

По боевому серверу:
8 SSD в RAID-10 - для работы
2 HDD в RAID-1 - для бекапов
Какой объем нужен считайте сами. Учитывайте прирост БД и пр. моменты, что б не оказалось мало. Так же смотрите что б SSD были полноценными, а не с маркетинговыми уловками (посмотрите тесты).
Оперативку так же просчитайте по объему и приросту.

Насчет совета копировать бекапы по сети - забейте. У вас RAID-1 для бекапов, так что все норм. Просто следите за исправностью массива.

автор
Обмен с филиалами работает практически 24/7. Периодичность раз в час, т.е. он практически не останавливается

Это не нормально. Зачем вам такая периодичность?.. Если так уж критично то загоните все филиалы в одну БД и будет вам счастье с постоянным онлайном данных. Или делайте обмены раза 2 в день - этого более чем хватит (опять же смотря чем занимаетесь).

автор
Сервер уже заказан

Ну да, это по нашему. Сначала заказываем железо, потом идем на форум за советом. Потом оказывается что взяли совсем не то. Ну и т.д. В общем - меняйте подход к работе. Я понимаю что деньги конторы и их тратить не жалко, но вам как бы платят ЗП за то что б тратить деньги эффективно.
12 ноя 16, 14:39    [19885932]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
uaggster
Member

Откуда:
Сообщений: 946
Crazy_Driver
uaggster
Резюме:
Идеальный дисковый массив выглядит как:
1. Зеркало под систему и программы.
2. 10 под данные
3. 10 под логи
4. Зеркало или 10 - под темпдб.
5. Зеркало - под мусор.

Но - идеал - недостижим... :-(


Зачем так делать на SSD? 6 SSD Enterprise необходимого объема в RAID5 на современном контроллере переплюнут по быстродействию хайэнд СХД 5-8 летней давности стоимостью в сотни тысяч долларов.

Я с подозрением отношусь к рэйд5.
Всё же вероятность словить отказ второго диска в момент рекавери - вовсе ненулевая.
12 ноя 16, 19:25    [19886569]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
uaggster
Member

Откуда:
Сообщений: 946
Злой Бобр
FragMaster
Насчет совета копировать бекапы по сети - забейте. У вас RAID-1 для бекапов, так что все норм. Просто следите за исправностью массива.

Ага. И потеряйте все бэкапы вместе с базой, если сгорит шасси, или накроется контроллер, или на сервере поселится злой шифровальщик, или в результате дрожания рук сисадмина.

Кстати, а если сервер умрет, вы как работоспособность восстанавливать будете?
И как бэкапы с мертвого шасси выковыривать?
Вытащите диск из тела, и вставите в другое? А уверены, что взлетит?

FragMaster, не слушай глупостей.
Мало того, что на физически другом компьютере, так еще и этот физически другой компьютер желательно располагать в месте, территориально удаленном от серверной. Там, где это допустимо с т.з. безопасности (тупо, чтобы не сперли и т.д.).
Для того, чтобы всё не накрылось, когда серверная сгорит (ага, система пожаротушения обычно срабатывает, когда всё, что можно уже сгорело. И кстати, она у вас есть?), или ее наоборот, зальёт говном.

Если что, я не с теоретических позиций рассуждаю. Причем по каждому пункту :-)))
12 ноя 16, 19:40    [19886594]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
Голосую за рейд 10. Хоть и дороже, но оправдывает себя скоростью. К тому же для soho решений это, пожалуй, единственный бюджетный вариант.
12 ноя 16, 19:43    [19886599]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
Злой Бобр

автор
Обмен с филиалами работает практически 24/7. Периодичность раз в час, т.е. он практически не останавливается

Это не нормально. Зачем вам такая периодичность?.. Если так уж критично то загоните все филиалы в одну БД и будет вам счастье с постоянным онлайном данных. Или делайте обмены раза 2 в день - этого более чем хватит (опять же смотря чем занимаетесь).


Скажу так: требования заказчика + результат "запуска в короткие сроки с изменениями в проекте на ходу" + недостаточная проработка возможных косяков обмена 1С с нашей стороны. Опыт такого масштаба внедрения у нас первый - отсюда и косяки.

Злой Бобр
автор
Сервер уже заказан

Ну да, это по нашему. Сначала заказываем железо, потом идем на форум за советом. Потом оказывается что взяли совсем не то. Ну и т.д. В общем - меняйте подход к работе. Я понимаю что деньги конторы и их тратить не жалко, но вам как бы платят ЗП за то что б тратить деньги эффективно.

Полностью с вами согласен, это недоработка с моей стороны. Но, по результатам форума думаю, менять вариант raid 10 из 6 ssd intel не придется.
12 ноя 16, 19:53    [19886620]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
uaggster
Злой Бобр
FragMaster
Насчет совета копировать бекапы по сети - забейте. У вас RAID-1 для бекапов, так что все норм. Просто следите за исправностью массива.

Ага. И потеряйте все бэкапы вместе с базой, если сгорит шасси, или накроется контроллер, или на сервере поселится злой шифровальщик, или в результате дрожания рук сисадмина.

Кстати, а если сервер умрет, вы как работоспособность восстанавливать будете?
И как бэкапы с мертвого шасси выковыривать?
Вытащите диск из тела, и вставите в другое? А уверены, что взлетит?

FragMaster, не слушай глупостей.

Полностью согласен. Собственно уже был реализован NAS, на который все это добро сливалось, но в связи с переездом временно не работает. Нужно будет настроить на новом месте.

ЗЫ: например у себя в офисе я изредка, примерно, раз в квартал, сливаю CloneZilla образы всех 2-х серверов.
Однажды уже выручило, когда "потерялось" некоторое количество файлов-вложений для электронных документов в 1С. Подмонтировал 3 бэкапа(примерно периодом за год) и руками собрал пазл.
12 ноя 16, 20:01    [19886637]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
uaggster
Member

Откуда:
Сообщений: 946
FragMaster
Голосую за рейд 10. Хоть и дороже, но оправдывает себя скоростью. К тому же для soho решений это, пожалуй, единственный бюджетный вариант.

Эээ... тут момент один... Рэйд 10 на ссд. Из 6 дисков. Т.е. это 3Гигабайта в секунду. Грубо - 30Гбит.
Ты уверен, что контроллер это умеет?
К черту контроллер. Ты уверен, что PCIex16 позволит это прокачать?
И как там с пропускной способностью ДДР3?

... мне кажется, ты ждешь чудес немного не там :-)
12 ноя 16, 20:09    [19886650]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
FragMaster
ЗЫ: например у себя в офисе я изредка, примерно, раз в квартал, сливаю CloneZilla образы всех 2-х серверов.

На 2 Тб диск на салазках, который затем уношу домой в сейф =)
12 ноя 16, 20:12    [19886657]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
uaggster
FragMaster
Голосую за рейд 10. Хоть и дороже, но оправдывает себя скоростью. К тому же для soho решений это, пожалуй, единственный бюджетный вариант.

Эээ... тут момент один... Рэйд 10 на ссд. Из 6 дисков. Т.е. это 3Гигабайта в секунду. Грубо - 30Гбит.
Ты уверен, что контроллер это умеет?
К черту контроллер. Ты уверен, что PCIex16 позволит это прокачать?
И как там с пропускной способностью ДДР3?

... мне кажется, ты ждешь чудес немного не там :-)

Ну так то DDR4, и контроллер встроенный в мат плату от LSI, мат плата из свежих. Плюс собирали товарисчи, понимающие немного более меня в железе.
Проверю, конечно, на всякий случай.
12 ноя 16, 20:14    [19886664]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
Указанный в топике отдельный контроллер только для ssd soho и hdd.
12 ноя 16, 20:17    [19886673]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
uaggster
К черту контроллер. Ты уверен, что PCIex16 позволит это прокачать?

Это позволит прокачать даже PCI Ex 4 тыц

Сообщение было отредактировано: 12 ноя 16, 20:29
12 ноя 16, 20:24    [19886692]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37138
uaggster
Грубо - 30Гбит...
Ты уверен, что PCIex16 позволит это прокачать?

Это даже PCIe x16 v1.0 умеет. ( https://ru.wikipedia.org/wiki/PCI_Express )

Сообщение было отредактировано: 12 ноя 16, 20:25
12 ноя 16, 20:24    [19886694]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
uaggster
И как там с пропускной способностью ДДР3?

Вот люблю я такие вопросы - мотивируют развиваться =)
Пропускная способность DDR4 в частоте 1600 Мгц, в одном канале 12.8 Гбит/с, учитывая, что серверные решения минимум 2- канальные и частоты там явно не самые низкие, как здесь в примере, то должно тоже пройти.

Сообщение было отредактировано: 12 ноя 16, 20:30
12 ноя 16, 20:28    [19886705]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
Запросил модель материнки у поставщика. Буду посмотреть :)
12 ноя 16, 20:31    [19886711]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 37138
FragMaster,

И тем не менее, на контроллер надо смотреть, как он будет себя вести с определенными рейдами под определенным профилем нагрузки. Рандомное чтение/запись блоками по 8кб частенько роняет производительность многих железяк существенным образом.

Сообщение было отредактировано: 12 ноя 16, 20:34
12 ноя 16, 20:32    [19886716]     Ответить | Цитировать Сообщить модератору
 Re: Оптимальное размещение на дисках  [new]
FragMaster
Member

Откуда:
Сообщений: 19
Гавриленко Сергей Алексеевич
FragMaster,

И тем не менее, на контроллер надо смотреть, как он будет себя вести с определенными рейдами под определенным профилем нагрузки. Рандомное чтение/запись блоками по 8кб частенько роняет производительность многих железяк существенным образом.

Не подскажете как понять характер нагрузки на SQL на уже имеющемся боевом сервере. Хотя бы куда копать.
Пока смотрю только prefmon
Memory Pages/sec
Network Interface Bytes Total/sec
Physical Disk Avg. Disk Queue Length
System Processor Queue Length
Processor [_Total] % Processor Time
12 ноя 16, 20:59    [19886776]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить