Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Форматирование дисков  [new]
Alexander Us
Member

Откуда:
Сообщений: 1051
MS рекомендует форматировать диски под рабочие базы, лог и темпдб в размер кластера 64к.

- А кто нибудь делал это или об этом только говорят?
- Как вы обошлись с "bytes per sector", "Bytes per physical sector"?
- Форматировали через контроллер или оставили как есть?
- Кроме того, форматировать диск лога в в размер кластера 64к это не перебор?

ЗЫ: спрашиваю, т.к. сейчас переношу базы на новое железо (с ssd дисками), SQL2008R2
30 авг 19, 16:42    [21960710]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Alexander Us
Member

Откуда:
Сообщений: 1051
Alexander Us,

Отформатировал новый сервер в 64к кластеры, настроил зеркалирование со старого, чтобы перенести базу, теперь лезет ошибка (некритично, но неприятная)
"9012 Server There have been 25958400 misaligned log IOs which required falling back to synchronous IO. The current IO is on file L:\XXX.ldf."

Обяснения, похожий случай и обход тут и тут, но там она возникает из за разных размеров сектора.

У меня же сектора на старой и новой машине одинаковы - 512E, только размер кластера разный.

Хоть кто то
- работает на машите с 64k кластерами?
- какой режим сектора вы используете: 512, 512E, "native 4k"?
- получал эту ошибку?
2 сен 19, 16:37    [21962030]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 36377
https://docs.microsoft.com/en-us/previous-versions/sql/sql-server-2008/dd758814(v=sql.100)
2 сен 19, 16:51    [21962040]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Alexander Us
Member

Откуда:
Сообщений: 1051
Гавриленко Сергей Алексеевич
https://docs.microsoft.com/en-us/previous-versions/sql/sql-server-2008/dd758814(v=sql.100)


Спасибо, но я это уже читал. Там речь идет о выравнивании партиций, чтобы не происходило ненужного увеличения числа IO.
В windows server 2012 это делается автоматически.
2 сен 19, 17:01    [21962052]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 6697
Alexander Us,

64к работаем. Для копирования баз используем бэкапы. Я подозреваю, что у вас синхронное зеркало и сеть/сервер его не тянет.
2 сен 19, 17:56    [21962087]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Alexander Us
Member

Откуда:
Сообщений: 1051
Владислав Колосов
Alexander Us,
64к работаем. Для копирования баз используем бэкапы. Я подозреваю, что у вас синхронное зеркало и сеть/сервер его не тянет.


Владислав,
с "тягой" всё ок, но похоже на эту проблему: "FIX: Slow synchronization when disks have different sector sizes for primary and secondary replica log files in SQL Server AG and Logshipping environments"

Видимо, на всякий случай, придётся отказаться от 64к кластров.

Удивительно, что только Вы используете 64к кластры, хотя это явная рекомендация от MS.
Я думал, отзовутся многие.

Правда и "4K native" режим для размера секторв вроде тоже рекомендован
,но совершенно не ясно, как его включить (в UI контроллера не нашел, в железе я не спец)
,и надо ли его использовать для SSD
3 сен 19, 12:59    [21962416]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
komrad
Member

Откуда: Msk -> Utrecht
Сообщений: 4964
Alexander Us
Видимо, на всякий случай, придётся отказаться от 64к кластров.

Удивительно, что только Вы используете 64к кластры, хотя это явная рекомендация от MS.
Я думал, отзовутся многие.


я бы на вашем месте привел все диски к 64к

если "многие" не отзываются, это не значит, что 64к не используется
на последних двух работах парки сиквелов (200 & 800 штук) были на дисках с 64к кластером - это было стандартной подготовкой дисков для сиквела
3 сен 19, 13:19    [21962436]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 28996
Alexander Us
Я думал, отзовутся многие.
Пропорцию лучше считать не по отношению "кто отозвался/общее количество жителей земли"
Иначе цифры получатся недостоверными.
Лучше использовать соотношение из данных, предоставленных откликнувшимися. То есть пока что 1 использующий / 1 всего = 1, то есть "все"
Alexander Us
Удивительно, что только Вы используете 64к кластры, хотя это явная рекомендация от MS.
Я думаю, почти все используют либо 64, либо 256, я не встречал в разных компаниях другого подхода, с конца 90-х
3 сен 19, 22:17    [21962900]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
komrad
Member

Откуда: Msk -> Utrecht
Сообщений: 4964
alexeyvg
Я думаю, почти все используют либо 64, либо 256, я не встречал в разных компаниях другого подхода, с конца 90-х

не видел 256к на современных версиях винды для NTFS
64k max
3 сен 19, 23:36    [21962914]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 28996
komrad
alexeyvg
Я думаю, почти все используют либо 64, либо 256, я не встречал в разных компаниях другого подхода, с конца 90-х

не видел 256к на современных версиях винды для NTFS
64k max
Ой, перепутал со страйпом в массиве :-(
4 сен 19, 00:42    [21962932]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6269
Alexander Us,

А зачем менять дефолты, есть выгода на тестах?

NTFS умеет в экстенты, а блоки на SSD вообще 1-2Мб например
4 сен 19, 00:53    [21962933]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6269
Более того, для SSD NTFS не самая удачная ФС - высокая нагрузка обязательных перезаписей служебных областей, куча индексов и ACL.

Но для MSSQL выбора считай, что нет.

У меня нет данных по ReFS, да и вообще оптимизаций для SSD не особо заметно пока нигде (

Были бы интересны новости прогресса в этой области.
4 сен 19, 01:12    [21962934]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
SQL2008
Member

Откуда: Москва
Сообщений: 3978
Alexander Us
MS рекомендует форматировать диски под рабочие базы, лог и темпдб в размер кластера 64к.
- А кто нибудь делал это или об этом только говорят?
- Кроме того, форматировать диск лога в в размер кластера 64к это не перебор?

Делал раньше. Диск логов форматировать с размером кластера 64к не стоит, так как там иная структура хранения данных.
Не экстенты по 8 8к страниц как у БД.
4 сен 19, 08:56    [21962981]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Kirillich
Member

Откуда:
Сообщений: 581
Alexander Us
- работает на машите с 64k кластерами?
- какой режим сектора вы используете: 512, 512E, "native 4k"?
- получал эту ошибку?


Ошибку получал при переносе на поданные диски через Storage Spaces.
Там они становятся 4к

Либо переносить не всех серверах (mirroring, AG) на диски с одинаковыми размерами физического сектора либо запускать на всем нодах с флагом трассировки.

Форматировать по 64к кластер
4 сен 19, 09:07    [21962990]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Kirillich
Member

Откуда:
Сообщений: 581
Kirillich
Либо переносить не всех серверах

читать как:
Либо переносить НА всех серверах
4 сен 19, 09:08    [21962991]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
komrad
Member

Откуда: Msk -> Utrecht
Сообщений: 4964
SQL2008
Диск логов форматировать с размером кластера 64к не стоит, так как там иная структура хранения данных.
Не экстенты по 8 8к страниц как у БД.

у лога важнее скорость записи (I/O pattern), чем эффективности хранения, если это имелось ввиду
поэтому "структура хранения" - дело десятое
4 сен 19, 11:39    [21963155]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Alexander Us
Member

Откуда:
Сообщений: 1051
komrad
у лога важнее скорость записи (I/O pattern), чем эффективности хранения, если это имелось ввиду
поэтому "структура хранения" - дело десятое


Так при каком размере кластера диска лога можно ожидать наибольшей скорости записи?
4к или 64к ?
4 сен 19, 12:17    [21963244]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
komrad
Member

Откуда: Msk -> Utrecht
Сообщений: 4964
Alexander Us
komrad
у лога важнее скорость записи (I/O pattern), чем эффективности хранения, если это имелось ввиду
поэтому "структура хранения" - дело десятое


Так при каком размере кластера диска лога можно ожидать наибольшей скорости записи?
4к или 64к ?

скорее интересней другое - сколько надо записать блоков диску при одной "записи" сиквела
если лог пишется сиквелом блоками по 512кб-60к, то в случае 64к - это один блок на диске, а в случае 4к - 16 блоков
следственно, операций записи на уровне диска гораздо больше (аппаратное кэширование не берем в расчет)
4 сен 19, 12:33    [21963284]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
komrad
Member

Откуда: Msk -> Utrecht
Сообщений: 4964
komrad
блоками по 512кб-60к

опечатка, должно быть 512байт-60кб
4 сен 19, 14:02    [21963428]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Alexander Us
Member

Откуда:
Сообщений: 1051
komrad,

так раки какие покупать, маленькие по 3 или большие по 5?
(диск лога форматировать по 4k или 64k ?)
4 сен 19, 14:54    [21963510]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
komrad
Member

Откуда: Msk -> Utrecht
Сообщений: 4964
Alexander Us
(диск лога форматировать по 4k или 64k ?)

в общем случае, я бы следовал рекомендации МС и использовал 64к
4 сен 19, 14:58    [21963519]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 6697
Alexander Us,

на производительность журналов больше влияет количество VLF, нежели размер кластера.
4 сен 19, 15:19    [21963549]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Alexander Us
Member

Откуда:
Сообщений: 1051
Что касается ошибки 9012:
"9012 Server There have been 25958400 misaligned log IOs which required falling back to synchronous IO. The current IO is on file L:\XXX.ldf."

Оказалось, что в моём случае она возникает при зеркалировании между разными версиями SQL (2008 -> 2008R2)

Воспроизведение:

1) Вклчаю зеркалирование базы XXX с сервера S1 (sql2008) на S2 (sql2008 R2) - ошибка появляется в логах S2

2) Переключаю зеркалирование, удаляю зеркалирование

3) Вклчаю зеркалирование этой же базы с сервера S2 (sql2008 R2) на S3 (sql2008 R2) - ошибка уже не появляется

ЗЫ: Спасибо всем откликнувшимся.

ЗЗЫ: Хоть мой основной вопрос (надеюсь) решен, некоторые другие отвечены,
осталась не раскрытой тема низкоуровнего форматирования: режим сектора: 512, 512E или "native 4k" и их применение с SSD.
Буду рад, если кто выскажется и по этой теме.
4 сен 19, 16:10    [21963636]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Kirillich
Member

Откуда:
Сообщений: 581
Alexander Us
Что касается ошибки 9012:
"9012 Server There have been 25958400 misaligned log IOs which required falling back to synchronous IO. The current IO is on file L:\XXX.ldf."

Оказалось, что в моём случае она возникает при зеркалировании между разными версиями SQL (2008 -> 2008R2)

Воспроизведение:

1) Вклчаю зеркалирование базы XXX с сервера S1 (sql2008) на S2 (sql2008 R2) - ошибка появляется в логах S2

2) Переключаю зеркалирование, удаляю зеркалирование

3) Вклчаю зеркалирование этой же базы с сервера S2 (sql2008 R2) на S3 (sql2008 R2) - ошибка уже не появляется

ЗЫ: Спасибо всем откликнувшимся.

ЗЗЫ: Хоть мой основной вопрос (надеюсь) решен, некоторые другие отвечены,
осталась не раскрытой тема низкоуровнего форматирования: режим сектора: 512, 512E или "native 4k" и их применение с SSD.
Буду рад, если кто выскажется и по этой теме.


не правильный вывод сделал.

запусти под администратором на всех серверах
fsutil fsinfo ntfsinfo %имя_тома%

и увидешь в чем разница.
4 сен 19, 16:31    [21963650]     Ответить | Цитировать Сообщить модератору
 Re: Форматирование дисков  [new]
Alexander Us
Member

Откуда:
Сообщений: 1051
Kirillich
запусти под администратором на всех серверах
fsutil fsinfo ntfsinfo %имя_тома%
и увидешь в чем разница.


Запускал.
Прежде чем писать в форум переформатировал диски нового сервера назад, в 4k кластеры, на обоих серверах было:
Bytes per Sector : 512
Bytes per Physical Sector : 4096
Bytes per Cluster : 4096
Bytes pet FileRecord Segment : 1024

а ошибка осталась.
4 сен 19, 16:54    [21963688]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить