Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 нюансы форматирования дисков под database ensine и SSAS  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4104
Господа, есть кто-то, кто развлекался настройками форматирования NFTS под database engine и SSAS .

Интересует больше SSAS, где куча мелких файлов.

Увеличение/уменьшение сектора и прочие тюнинги.

Есть какие-то рекомендации?
15 ноя 19, 15:05    [22017328]     Ответить | Цитировать Сообщить модератору
 Re: нюансы форматирования дисков под database ensine и SSAS  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 519
a_voronin,

Гм, специальных рекомендаций по SSAS не видел. Что думаю и делал сам:
  • размер сектора - 4 KB (из общих соображений) - так как много мелких файлов
  • аналогично SQL Filestream - отключаем генерацию 8.3 имен, индексацию диска с данными и обновления последней даты доступа к файлу. См Best Practices on FILESTREAM implementations. Скорее все это по аналогии - в FileStream тоже много небольших файлов.
  • 18 ноя 19, 12:17    [22018584]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    ShIgor
    Member

    Откуда: Нижний Новгород
    Сообщений: 2252
    a_voronin,

    + Analysis Services Operations Guide. 2.5 Partitioning, Storage Provisioning and Striping

    NTFS Allocation Unit Size (AUS): With careful optimization, it is sometimes possible to get slightly better performance by smartly choosing between 32K or 64K (a few percent). But, unless you are hunting for benchmark performance, just go with 32K. If you have standardized on 64K for other SQL Server services, that will work too.
    18 ноя 19, 14:13    [22018724]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    PsyMisha
    Member

    Откуда: другая столица
    Сообщений: 545
    a_voronin,

    ... Зачем вам NTFS и файловые таблицы - все в InMemory же! (C) :)
    19 ноя 19, 10:15    [22019366]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    a_voronin
    Member

    Откуда: Москва
    Сообщений: 4104
    PsyMisha,

    Вы про Tabular говорите? Ну и как, группы мер с сотнями лямов и лярдами строк он готов считать?
    19 ноя 19, 11:09    [22019424]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    PsyMisha
    Member

    Откуда: другая столица
    Сообщений: 545
    a_voronin,

    Да нет, я про реляционку говорю - вы же весь стейдж и весь DataVault предлагали в память кидать и дюрабилити везде включен чтобы

    Не троллю, просто вспомнил)
    19 ноя 19, 11:45    [22019460]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    TaPaK
    Member

    Откуда: Kiev
    Сообщений: 6719
    PsyMisha,

    автор
    и дюрабилити везде включен чтобы

    а "дюрабилити" выключен это как?
    19 ноя 19, 11:47    [22019461]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    Yasha123
    Member

    Откуда:
    Сообщений: 1718
    TaPaK
    PsyMisha,

    автор
    и дюрабилити везде включен чтобы

    а "дюрабилити" выключен это как?

    это schema only.
    но присоединяюсь к троллингу все в InMemory же! (C)
    19 ноя 19, 11:57    [22019467]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    a_voronin
    Member

    Откуда: Москва
    Сообщений: 4104
    PsyMisha,
    В данной теме вообще-то речь идет о SSAS.

    И я не разу не предлагал весь Stage поднимать. Предлагал часть справочников ИЗ ВИТРИН.
    19 ноя 19, 13:01    [22019530]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    PsyMisha
    Member

    Откуда: другая столица
    Сообщений: 545
    a_voronin,

    Эх, ладно, не упомнить уже все ветки...

    А справочники то из витрин чем не угодили? Ну куски звёзд-снежинок по несколько тысяч строк каждая, и что в этом кейсе для InMemory?

    Вот кстати про stage то и больше подходов, особенно если он только для ELT используется и не содержит в себе логику по ключам или историчности загрузки/первичных трансформаций
    19 ноя 19, 13:43    [22019589]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    a_voronin
    Member

    Откуда: Москва
    Сообщений: 4104
    Yasha123,

    В INMEMORY хорошо держать буферы, в которые идет BULK INSERT. Но TROLLEYBALL-MINDEDNESS не позволяет некоторым увидеть преимущества данного подхода.
    19 ноя 19, 13:45    [22019593]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    PsyMisha
    Member

    Откуда: другая столица
    Сообщений: 545
    a_voronin
    не позволяет некоторым увидеть преимущества данного подхода.


    ... я так и знал, что он опять обидится Картинка с другого сайта.Картинка с другого сайта.
    19 ноя 19, 13:51    [22019599]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    Yasha123
    Member

    Откуда:
    Сообщений: 1718
    PsyMisha
    a_voronin
    не позволяет некоторым увидеть преимущества данного подхода.


    ... я так и знал, что он опять обидится Картинка с другого сайта.Картинка с другого сайта.

    TROLLEYBALL-MINDEDNESS не не позволяет некоторым понять,
    что нам сегодня просто скучно
    19 ноя 19, 13:56    [22019606]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    TaPaK
    Member

    Откуда: Kiev
    Сообщений: 6719
    a_voronin
    Yasha123,

    В INMEMORY хорошо держать буферы, в которые идет BULK INSERT. Но TROLLEYBALL-MINDEDNESS не позволяет некоторым увидеть преимущества данного подхода.

    а что где то уже побеждён паралеллизм на dml inmemory?
    19 ноя 19, 13:56    [22019607]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    a_voronin
    Member

    Откуда: Москва
    Сообщений: 4104
    TaPaK
    a_voronin
    Yasha123,

    В INMEMORY хорошо держать буферы, в которые идет BULK INSERT. Но TROLLEYBALL-MINDEDNESS не позволяет некоторым увидеть преимущества данного подхода.

    а что где то уже побеждён паралеллизм на dml inmemory?


    Inmemory параллелиться гораздо лучше.

    Если взять bulk insert, то при повышении нагрузки в inmemory он деградирует меньше, чем в обычные таблы
    19 ноя 19, 18:03    [22019946]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    TaPaK
    Member

    Откуда: Kiev
    Сообщений: 6719
    a_voronin
    TaPaK
    пропущено...

    а что где то уже побеждён паралеллизм на dml inmemory?


    Inmemory параллелиться гораздо лучше.

    Если взять bulk insert, то при повышении нагрузки в inmemory он деградирует меньше, чем в обычные таблы

    Была попытка перевести объёмную математику именно с расчётом, что там всё быстро и хорошо и всё же без дисковых задержек, но в итоге известно такое NonParallelPlanReason=”NoParallelForDmlOnMemoryOptimizedTable”
    в итоге любой более менее существенный объём сразу выпал в осадок по отношению к просто временной таблице
    19 ноя 19, 18:09    [22019955]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    a_voronin
    Member

    Откуда: Москва
    Сообщений: 4104
    TaPaK,

    Это видели?

    https://support.microsoft.com/en-us/help/4013877/update-enables-dml-query-plan-to-scan-query-memory-optimized-tables-in

    Я так понимаю, вы хотите получить параллельность в одном запросе. А InMemory больше заточено под то, что много запросов будут долбить её параллельно. Одиночная транзация от InMemory не выиграет. Выигрыш будет при массовом исполнении множества запросов.
    20 ноя 19, 08:03    [22020230]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    Ennor Tiegael
    Member

    Откуда:
    Сообщений: 3089
    Вот так разница между concurrency и parallelism оказалась lost in translation...
    20 ноя 19, 09:26    [22020279]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    ShIgor
    Member

    Откуда: Нижний Новгород
    Сообщений: 2252
    Ennor Tiegael,

    да какой там...
    начали-то вообще с конфигурации дисков
    20 ноя 19, 13:37    [22020584]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    uaggster
    Member

    Откуда:
    Сообщений: 731
    a_voronin
    Господа, есть кто-то, кто развлекался настройками форматирования NFTS под database engine и SSAS .

    Интересует больше SSAS, где куча мелких файлов.

    Увеличение/уменьшение сектора и прочие тюнинги.

    Есть какие-то рекомендации?

    Да, есть.
    https://blogs.msdn.microsoft.com/blogdoezequiel/2011/02/11/best-practices-on-filestream-implementations/
    20 ноя 19, 14:42    [22020707]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    ShIgor
    Member

    Откуда: Нижний Новгород
    Сообщений: 2252
    uaggster,

    никто про filestream в этой теме не спрашивал.
    20 ноя 19, 17:51    [22021067]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    uaggster
    Member

    Откуда:
    Сообщений: 731
    ShIgor,
    Цитата
    Интересует больше SSAS, где куча мелких файлов.

    Настройки будут универсальными.
    21 ноя 19, 08:10    [22021443]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    a_voronin
    Member

    Откуда: Москва
    Сообщений: 4104
    uaggster,

    Вы если не обладаете информацией, то лучше не говорите. Я делал эксперименты и при большом кол-ве файлов (а их в одном кубе у меня было около 150000 в нескольких тысячах папок), скорость записи улучшалась при меньшем размере сектора. Там ещё есть нюансы про имена 8.3 и прочие вещи.

    http://www.ntfs.com/ntfs_optimization.htm

    Define Cluster Size Properly
    Unnecessary Access Updates
    Outdated DOS 8.3 Name creation

    Вопрос был в том, занимался ли кто-то тюнингом NTFS и что было?
    21 ноя 19, 09:48    [22021497]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    Ferdipux
    Member

    Откуда: Москва
    Сообщений: 519
    a_voronin


    Define Cluster Size Properly
    Unnecessary Access Updates
    Outdated DOS 8.3 Name creation

    Вопрос был в том, занимался ли кто-то тюнингом NTFS и что было?

    Занимался.
    Результаты - уменьшение кластера дало результаты, аналогичные вашим. При больших кубах, где количество файлов было более 200 000, отключал имена 8.3 и last access date. Выигрыш от этого - ощущался в сокращении времени процессинга.
    21 ноя 19, 10:15    [22021517]     Ответить | Цитировать Сообщить модератору
     Re: нюансы форматирования дисков под database ensine и SSAS  [new]
    a_voronin
    Member

    Откуда: Москва
    Сообщений: 4104
    Ferdipux
    a_voronin


    Define Cluster Size Properly
    Unnecessary Access Updates
    Outdated DOS 8.3 Name creation

    Вопрос был в том, занимался ли кто-то тюнингом NTFS и что было?

    Занимался.
    Результаты - уменьшение кластера дало результаты, аналогичные вашим. При больших кубах, где количество файлов было более 200 000, отключал имена 8.3 и last access date. Выигрыш от этого - ощущался в сокращении времени процессинга.


    Спасибо, а какие-то цифры можете озвучить?
    21 ноя 19, 10:50    [22021551]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
    Все форумы / Microsoft SQL Server Ответить