SomewhereSomehow's Notes

Публикуя последний пост, заметил несколько комментариев к предыдущим постам, последний из которых датирован аж мартом этого года. Ответил на все, но приношу извинения, т.к. ответил не своевременно.

Дело в том что из-за постоянных спам атак я отключил уведомления о комментариях. Позже, я купил плагин, который защищает от таких атак и их стало меньше, но уведомления пока так и не включил. Так что я вижу комментарии только тогда, когда захожу в админку сайта, что бывает редко.

Тем не менее, пожалуйста задавайте вопросы по статьям, теперь я буду просматривать комментарии регулярно вручную, пока не решу вопрос с уведомлениями.

Спасибо всем читателям!

В этой публикации я хочу поговорить о новых методах обработки запросов, которые призваны бороться с ошибками в оценках кардинальности, предполагаемом числе строк в операторах плана запроса, и улучшать производительность.

Эти методы объединяются под общим названием – Adaptive Query Processing, и состоят из трех основных компонентов:

• Adaptive Memory Grant Feedback
• Interleaved Execution
• Adaptive Joins

Далее мы рассмотрим каждый из этих методов, где они применяются и какой имеют эффект. Для демонстрации примеров я буду использовать SQL Server 2017 CTP 2.0 совместно с SQL Server Management Studio 17.0.

Читать дальше...

В одной из предыдущих заметок мы говорили о таком механизме как Cardinality Estimator.

www.queryprocessor.ru
Cardinality Estimation, СЕ (оценка кардинальности) – это оценка предполагаемого числа строк, которое будет обработано тем или иным оператором запроса. Оценка – один из ключевых факторов при построении плана запроса. Оценку числа строк осуществляет компонент Cardinality Estimator.

Хинт ASSUME_MIN_SELECTIVITY_FOR_FILTER_ESTIMATES контролирует один из аспектов поведения этого компонента, а именно, оценку комплексных предикатов. На сегодняшний день SQL Server имеет три алгоритма оценки подобных предикатов:

• оценка по предположению независимости;
  
• оценка по минимальной селективности;
  
• оценка по алгоритму exponential backoff.
  

Удобнее всего будет разобрать их на примере.

Читать дальше...

Прослушивание параметров — это прием оптимизации, который позволяет использовать значения параметров модуля (например, хранимой процедуры или функции), во время первого вызова, для оценки предполагаемого числа строк при построении плана.

Прослушивание параметров в большинстве случаев полезная вещь, но эта техника плохо работает если значения параметров сильно отличаются по селективности. Например, в случае если для одного значения параметра выбирается 99% строк таблицы, а для второго 1% — серверу может быть выгодно использовать разные планы. Один план будет более эффективен для большего числа строк, второй для меньшего.

Однако, если работает прослушивание параметров, план будет построен для того значения, что было передано при первом вызове. Если для этого значения выбирается небольшое число строк, будет построен план выгодный для получения небольшого числа строк. Когда значение параметра изменится так, что процедура должна будет вернуть гораздо больше строк, план останется «старым», эффективным для небольшого числа строк. Давайте рассмотрим простой пример, который иллюстрирует проблему.

Читать дальше...

Оптимизатор запросов, это компонент SQL Server, который отвечает за то, как именно будет выполняться запрос. Это довольно сложный механизм, и разработчики, которые его пишут, не застрахованы от ошибок. Сложность в исправлении ошибок оптимизатора заключается в том, что даже если найдена ошибка, приводящая к неэффективному плану, нельзя ее просто исправить. Исправление этой ошибки для какого-то проблемного запроса или типа запросов, может привести к смене плана выполнения в тех запросах, которые до это не испытывали проблем. По этой причине разработчики оптимизатора очень консервативны при внесении исправлений в оптимизатор.

Очень часто, внеся исправления, они оставляют их по умолчанию выключенными, чтобы, если вы не испытываете проблем, вы не заметили эти исправления, и они никак не повлияли на производительность вашего приложения (исключение составляют серьезные ошибки, например, те, которые могут вести к неверным результатам). В то же время, если у вас есть проблемы, вы могли бы включить эти исправления и получить нужный эффект.
Читать дальше…

Продолжаем рассматривать примеры использования хинтов при помощи USE HINT.

В этой заметке мы посмотрим, как управлять версией механизма оценки кардинальности с помощью хинтов FORCE_DEFAULT_CARDINALITY_ESTIMATION и FORCE_LEGACY_CARDINALITY_ESTIMATION.

Cardinality Estimation, СЕ (оценка кардинальности) – это оценка предполагаемого числа строк, которое будет обработано тем или иным оператором запроса. Оценка – один из ключевых факторов при построении плана запроса (более подробно я рассматривал эту тему в докладе кардинальность и планы выполнения). Оценку числа строк осуществляет компонент Cardinality Estimator.

До 2014 сервера, была всего одна версия этого компонента, разработанная для SQL Server 7.0, постепенно адаптируемая к новым версиям, но принципиально не меняющаяся. Со временем, разработчики сиквела поняли, что старую модель больше развивать нельзя – ее трудно расширять, трудно тестировать, любые изменения в одном месте могут приводить к поломкам в другом, кроме того, те предположения о реальности, которые были верны во времена SQL Server 7.0, сейчас устарели.

Начиная с SQL Server 2014 у сервера появилась новая модель оценки строк, адаптированная к современным рабочим нагрузкам. Эта модель оценки имеет новую архитектуру, расширяема и дополняема, версия этой модели получила номер 120 (по аналогии с уровнем совместимости БД, соответствующим серверу 2014 – 120). В 2016 сервере современная модель была расширена и получила номер версии 130, при этом версия 120 сохранилась. В еще не вышедшем, на момент написания статьи, RTM сервере vNext уже есть модель версии 140.

Читать дальше...

Один из доступных алгоритмов соединения двух таблиц в SQL Server это вложенные циклы (Nested Loops). В зависимости от выбранного оптимизатором порядка соединения таблиц, одна из таблиц выбирается как внешняя (по ней открывается внешний цикл), вторая как внутренняя (для каждой строки из внешней таблицы выполняется внутренний цикл по второй таблице), во время соединения, внутри циклов проверяется условие соединение, такой подход называется «наивный» алгоритм вложенных циклов. Если же по внутренней таблице доступен индекс по условию соединения, то необязательно выполнять внутренний цикл проверки по каждой строке второй таблицы, вместо этого, можно передать в качестве аргумента поиска значение из внешней таблицы, а все строки, что будут найдены во внутренней таблице соединить со строкой из внешней таблицы.

Поиск по внутренней таблице — это случайный доступ, SQL Server начиная с версии 2005 имеет оптимизацию, называемую batch sort (не путать с оператором Sort в Batch Mode для колоночных индексов). Идея оптимизации заключается в том, чтобы перед тем, как получить данные из внутренней таблицы, упорядочить ключи поиска из внешней, превратив тем самым случайный доступ в последовательный.

Читать дальше…

«Query Hints» в документации переводится как «указания запросов», кто-то называет их «подсказками», но чаще говорят просто «хинты». Я буду использовать в заметке именно последнее выражение, т.к. оно более распространено в повседневной жизни и сразу дает понять, о чем идет речь. Эта публикация — введение, она открывает цикл заметок по новым хинтам, которые появились в SQL Server 2016 SP1.

Читать дальше...

В 2014 году, я начал вести англоязычный блог www.queryprocessor.com, пообещав не забрасывать свой первоначальный блог и продолжать публиковать в нем статьи по мере сил и возможностей. С тех пор, мужественно и последовательно, за 2.5 года я не опубликовал в нем ни одной статьи. Хватит это терпеть!

Появились интересные вещи, которыми бы я хотел поделиться с читателями, кроме того, я просто соскучился по написанию статей на русском языке, поэтому, я решил возобновить публикацию статей в этом блоге. На этот раз я не буду ничего обещать, посмотрим, как пойдет.

А пока, первая заметка Что можно узнать из плана запроса, в которой рассматриваются как некоторые старые, но полезные элементы плана, так и улучшения в этой области для последних релизов SQL Server.

Приятного чтения.

Новое в блоге:
Overpopulated Primary Key and CE Model Variation
Ascending Key and CE Model Variation