Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Как раскидать файлы по дискам на новом хранилище?  [new]
Daba
Member

Откуда:
Сообщений: 95
Данно:
- где-то 40 баз разного размера и нагрузки,все +/- OLTP.
- из них где-то 6 больших (от 2ТВ до 13ТВ) с большой нагрузкой по 8-16 дата файлов
- где-то еще 6 с большой нагрузкой но небольшими размерами
- остальное мелочевка
- tempdb под хорошей нагрузкой

Мощный сервак VMAX3 с 1ТВ памяти и 50ТВ all-flash хранилище поделенное на где-то 20+ "дисков".

Задача: Надо разложить всё это добро по дискам.

Вопрос:
-стоит ли расскидывать файлы даты одной базы по разным дискам, т.е. на одном диске будет файлы разных бд?
-что делаем с лог файлами: бросаем на отдельный диск где будут сидеть только логи, или класть на диски с файлами даты других бд?
-что делаем с tempdb (8 файлов): раскидываем по разным дискам в перемешку с файлами даты других баз? отдельный диск?
- что делаем с tempdb логом?

Любые хорошие идеи приветствуются.

Заранее спасибо.
20 мар 17, 15:17    [20314250]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
MacaronicTragedy
Member

Откуда:
Сообщений: 73
по best practices - один диск под данные, один под логи, один под tempdb (данные +логи). Я бы так и расположил для начала.
20 мар 17, 15:20    [20314261]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
xxxkms
Member

Откуда:
Сообщений: 322
А интересно что вы понимаете под "диском" в случае all flash СХД, в которой есть свои рейды и наверняка куча различных уровней виртуализации :)
20 мар 17, 15:37    [20314323]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 2371
звучит как "мы купили сервер, но пришлось уволить специалистов"

"разбрасывать" по логическим дискам смысла не несёт. Разносить по физически разделённым массивам, так сказать общую архитектуру больниц, описал MacaronicTragedy. Но вполне здраво смотреть конкретно на свои базы, очереди к ним и т.д.
20 мар 17, 15:42    [20314348]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
MacaronicTragedy
Member

Откуда:
Сообщений: 73
в случае с внешним массивом, насколько я знаю, больше будет играть роль количество лунов, презентованных серваку.
20 мар 17, 15:49    [20314381]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
Нектотам
Guest
Daba
Любые хорошие идеи приветствуются.

Заранее спасибо.


Читать подряд всё whitepaper EMC, особенно относящиеся к SQL Server и AllFlash. Там всё разжёвано.
20 мар 17, 15:51    [20314400]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
xxxkms
Member

Откуда:
Сообщений: 322
MacaronicTragedy
в случае с внешним массивом, насколько я знаю, больше будет играть роль количество лунов, презентованных серваку.

Интересно и какой смысл в куче лунов, выведенных с одного рейда SSD?
21 мар 17, 01:12    [20315963]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 34322
xxxkms
MacaronicTragedy
в случае с внешним массивом, насколько я знаю, больше будет играть роль количество лунов, презентованных серваку.

Интересно и какой смысл в куче лунов, выведенных с одного рейда SSD?
Скилл скриптоложества прокачивать же. С древних времен древних СХД, когда резать все на зеркала было выгоднее, имеем ~150 файлов в базе. То еще развлечение, к примеру, поресторить на СХД с другой дисковой структурой, ага.
21 мар 17, 01:21    [20315968]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4330
Daba
- где-то 40 баз разного размера и нагрузки,все +/- OLTP.
- из них где-то 6 больших (от 2ТВ до 13ТВ) с большой нагрузкой по 8-16 дата файлов
- где-то еще 6 с большой нагрузкой но небольшими размерами
- остальное мелочевка
- tempdb под хорошей нагрузкой
...
Любые хорошие идеи приветствуются.
нанять вменяемого DBA
21 мар 17, 02:26    [20315985]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
MacaronicTragedy
Member

Откуда:
Сообщений: 73
xxxkms,

дело в количестве очередей. У каждого луна своя очередь.

из того, что сходу шашел.
http://www.yellow-bricks.com/2012/12/06/should-i-use-many-small-luns-or-a-couple-of-large-luns-for-storage-drs/

наши стораджисты мне это подтвердили.
21 мар 17, 09:33    [20316237]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
CrazyDr1v3r
Guest
MacaronicTragedy
xxxkms,

дело в количестве очередей. У каждого луна своя очередь.

из того, что сходу шашел.
http://www.yellow-bricks.com/2012/12/06/should-i-use-many-small-luns-or-a-couple-of-large-luns-for-storage-drs/

наши стораджисты мне это подтвердили.


А ничего, что на физических носителях очередь общая и на одном физическом диске будут лежать несколько лунов и владельцы лунов будут бороться за доступ к физическому диску?
21 мар 17, 09:46    [20316274]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
MacaronicTragedy
Member

Откуда:
Сообщений: 73
CrazyDr1v3r,
ничего страшного, там много разных очередей на пути от сиквеля до физического хранилища.
честно говоря, не знаю, как на схд все это работает. подозреваю, что он должен как-то "размазывать" данные по раным физическим дискам. иначе зачем он вообще нужен?
много (несколько) лунов - это, типа бест практис. даже принятно стандартом у нас в компании.
вот статейка http://www.gabesvirtualworld.com/storage-how-to-size-your-luns/
из первых трех абзацев становится ясно, что не стоит выделять один большущий лун, в данной ситуации под ВМ, но на их месте могут быть и сиквельные базы.
вот тут мужик пишет, что со стороны ОС могут быть ограничения на очередь на лун:
http://www.dba-oracle.com/t_disk_lun_san_nas_performance_bottleneck.htm

This benefits us in a couple ways. First, remember that your OS, HBA, or other parts of the host driver stack may have limits per LUN on I/O. Distributing your extents across multiple LUNs with ASM will provide better I/O concurrency by load balancing across them, eliminating this bottleneck.

я тут не претендую на истину в последней инстанции, так что если есть что возразить - лучше б написал по делу.
21 мар 17, 11:29    [20316781]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
CrazyDr1v3r
Guest
MacaronicTragedy,

Много лунов - это когда количество дисков исчисляется сотнями. Я работал с СХД EMC и плотно общался с их саппортом по поводу производительности.
И таки не надо тащить практику использования HDD к использованию SSD. Смысл разнесения для первых исходит из физического ограничения скорости перемещения головок, которая и ограничивает произвольный доступ на уровне 120 иопс для SATA, 250 для SAS 10к и 300 для SAS 15к.
С SSD можно легко получить 100000 иопс - сами посчитаете, сколько для этого потребовалось бы SAS 15k?
21 мар 17, 12:30    [20317152]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
MacaronicTragedy
Member

Откуда:
Сообщений: 73
CrazyDr1v3r,

т.е. под базу, скажем, 10 ТБ можно смело выделять один лун теров на 12 и все будет ок? Никакого выигрыша над 6 лунами по 2ТБ не будет?
есть че почитать на эту тему?
21 мар 17, 12:37    [20317186]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
CrazyDr1v3r
Guest
Вот тесты для SQL Server, проведенные в HP http://www.doc88.com/p-6833139519695.html К сожалению, прямой ссылки на оригинал нет.
21 мар 17, 12:42    [20317209]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
CrazyDr1v3r
Guest
MacaronicTragedy
CrazyDr1v3r,

т.е. под базу, скажем, 10 ТБ можно смело выделять один лун теров на 12 и все будет ок? Никакого выигрыша над 6 лунами по 2ТБ не будет?
есть че почитать на эту тему?


У меня была база в 12 ТБ. Данные лежали одним файлом на одном пуле из 100 дисков RAID10, логи на другом из 40 дисков RAID10, tempdb на 28 SSD RAID 50. Логи СХД показывали равномерную нагрузку на все диски. А если поделить, то где гарантия, что не упретесь в производительность какого-либо пула, а остальные будут вовсе ненагруженными?
21 мар 17, 12:49    [20317252]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
Daba
Member

Откуда:
Сообщений: 95
Рад что получился интересный дискусс.
Замечания по-поводу, наймите/увольте DBA, и тому подобное не принимаю. Я не являюсь "хозяином" сервера, а вендор, и скорее разроботчик чем системщик. Но клиент почему-то уверен что я должен всё знать и решить что, как и куда.

Спасибо всем за полезные наводки - будем учиться.
21 мар 17, 17:21    [20318611]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
Daba
Member

Откуда:
Сообщений: 95
Гавриленко Сергей Алексеевич
xxxkms
пропущено...

Интересно и какой смысл в куче лунов, выведенных с одного рейда SSD?
Скилл скриптоложества прокачивать же. С древних времен древних СХД, когда резать все на зеркала было выгоднее, имеем ~150 файлов в базе. То еще развлечение, к примеру, поресторить на СХД с другой дисковой структурой, ага.


Давно я в России не бывал и язык подзабыл... Может переведёте на литературный ;)?
21 мар 17, 17:26    [20318620]     Ответить | Цитировать Сообщить модератору
 Re: Как раскидать файлы по дискам на новом хранилище?  [new]
komrad
Member

Откуда: Msk -> Utrecht
Сообщений: 4069
Daba
Гавриленко Сергей Алексеевич
пропущено...
Скилл скриптоложества прокачивать же. С древних времен древних СХД, когда резать все на зеркала было выгоднее, имеем ~150 файлов в базе. То еще развлечение, к примеру, поресторить на СХД с другой дисковой структурой, ага.


Давно я в России не бывал и язык подзабыл... Может переведёте на литературный ;)?


я не автор, но общий смысл понял так:
"Надо тренироваться в написании скриптов. исторически сложилось, что раньше стремилисть иметь много дисков (luns) на схд, поэтому и для базы данных создавали много файлов. В данном контексте, особый кайф восстанавливать базу из ~150 файлов с одного сервера на другой при различии в структуре папок (расположении файлов)."

Из личного опыта: столкнувшись раз с такой задачей, написал себе процедуру, которая генерит скрипт на восстановление произвольной базы исходя из её названия и пути к бекап-файлу. Попутно она запоминает существующие права в целевой базе и восстанавливает из после рестора.
Очень удобно, когда надо восстановить базу, состоящую из >1000 файлов.
21 мар 17, 18:08    [20318758]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить