Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Вопросы по организации памяти SQL Server  [new]
Evelion
Member

Откуда:
Сообщений: 37
Доброго времени суток, коллеги !
Прошу помочь с ответами на некоторые мои вопросы.

Правильно ли я понимаю, что оперативная память используемая SQL Server'ом распределяется между:
- кэшем планов (хранилище планов выполнения)
- кэшем объектов (страницы данных таблиц и индексов)
Отводится ли она еще на что то ?


Что бы отследить, какая служба (клерк) сколько использует памяти необходимо выполнить запрос:

select type,name, sum(multi_pages_kb + single_pages_kb ) as SUM_pages_kb
from sys.dm_os_memory_clerks
where multi_pages_kb != 0
group by type ,name
order by 3 desc

Существует ли описание самих клерков (то есть поля type) ?

Если у кого есть ссылка на статью о подробном описании использования SQL Server'ом оперативной памяти прошу поделиться.
В BOL достаточно слабое описание..
11 окт 12, 17:09    [13303976]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Evelion
Member

Откуда:
Сообщений: 37
Забыл..

Microsoft SQL Server 2008 R2 (SP1) - 10.50.2500.0 (X64) Jun 17 2011 00:54:03 Copyright (c) Microsoft Corporation Developer Edition (64-bit) on Windows NT 6.1 <X64> (Build 7600: )
11 окт 12, 17:12    [13303994]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
aleks2
Guest
Evelion
В BOL достаточно слабое описание..

От того, что ты будешь знать "как" - ничо не изменится. ПОэтому смысла в этих "знаниях" немного.
11 окт 12, 19:02    [13304587]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6724
Ща вообще не модно суть писать, даже "крупным корпорациям". Впарить можно любую фигню.
Но если постараться можно многое надыбать.

Evelion, А какова цель этого "знания"?
Просто любитель расчленёнки?
11 окт 12, 22:49    [13305342]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5123
Evelion
Правильно ли я понимаю, что оперативная память используемая SQL Server'ом распределяется между:
- кэшем планов (хранилище планов выполнения)
- кэшем объектов (страницы данных таблиц и индексов)
Отводится ли она еще на что то ?
CLR
11 окт 12, 23:04    [13305377]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Ray D
Member

Откуда: from the middle of nowhere
Сообщений: 3598
Блог
clr->mem to leave ("ненужное знание", которое помогает)
12 окт 12, 01:41    [13305784]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Mind
Member

Откуда: Лучший город на Земле
Сообщений: 2322
Evelion
Доброго времени суток, коллеги !
Прошу помочь с ответами на некоторые мои вопросы.

Правильно ли я понимаю, что оперативная память используемая SQL Server'ом распределяется между:
- кэшем планов (хранилище планов выполнения)
- кэшем объектов (страницы данных таблиц и индексов)
Отводится ли она еще на что то ?
Из основных потребителей есть еще - Used Workspace Memory, это память используемая для выполнения запросов (Hash/Sort). Мониторится с помощью: 
sys.dm_exec_query_resource_semaphores
sys.dm_exec_query_memory_grants

Evelion
Существует ли описание самих клерков (то есть поля type) ?

Если у кого есть ссылка на статью о подробном описании использования SQL Server'ом оперативной памяти прошу поделиться.
Я тоже не встречал такого. Про некоторые, можно догадаться из названия, зачем они нужны. Думаю что нужно знать основных потребителей памяти, а на всякую мелочь можно забить, ибо практического смысла мало.

Прилагаю еще табличку с основными performance счетчиками памяти и как они все между собой связаны, кто в кого включен. Надеюсь поможет понять суть.
Теоритически еще все клерки из sys.dm_os_memory_clerks должны быть частью Stolen Server Memory, но на практике это не так.
А еще учитывайте то, что в 2012 модель памяти конкретно переделали ...

К сообщению приложен файл. Размер - 119Kb
12 окт 12, 03:31    [13305921]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Evelion
Member

Откуда:
Сообщений: 37
Mnior, Цель - понимание общей схемы работы SQL Server'а с памятью. А так же получить возможность увидеть на что расходуется память.

Mind, Спасибо ! А чем можно получить аналогичную табличку у себя ?
12 окт 12, 10:44    [13306688]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10802
Блог
В тему: http://msmvps.com/blogs/gladchenko/archive/2012/09/03/1815794.aspx
12 окт 12, 11:15    [13306977]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6724
Evelion, А что вам говорит Bound Trees - 38% ?
12 окт 12, 11:52    [13307300]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6724
stavgreengo
Я конечно извиняюсь, но раз уж тема называется "вопросы", можно и я здесь вопрос задам
Нет нельзя.
Смысл разный. Задайте в отдельной теме, иначе могут забанить.
12 окт 12, 11:55    [13307343]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Гавриленко Сергей Алексеевич
Member

Откуда:
Сообщений: 37254
stavgreengo,

Заведите отдельный топик.
12 окт 12, 11:59    [13307385]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5123
Александр Гладченко
В тему: http://msmvps.com/blogs/gladchenko/archive/2012/09/03/1815794.aspx
Александр, спасибо за статью.
одно пожелание... если есть возможность, прячьте саму статью под кат оставляя на морде только краткое описание, а то не удобно, имхо
12 окт 12, 12:10    [13307507]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10802
Блог
Дедушка
Александр Гладченко
В тему: http://msmvps.com/blogs/gladchenko/archive/2012/09/03/1815794.aspx
Александр, спасибо за статью.
одно пожелание... если есть возможность, прячьте саму статью под кат оставляя на морде только краткое описание, а то не удобно, имхо


Удобство - штука относительная :) В таком виде статья есть на SQL.RU ;)
12 окт 12, 12:29    [13307698]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Evelion
Member

Откуда:
Сообщений: 37
Mnior, к сожалению ничего.. Поэтому и спрашивал про описание клерков.
12 окт 12, 12:33    [13307748]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
komrad
Member

Откуда:
Сообщений: 5759
Evelion
А чем можно получить аналогичную табличку у себя ?


;) запросом/процедурой, самописным
12 окт 12, 13:00    [13307965]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6724
Evelion
Mnior, к сожалению ничего.. Поэтому и спрашивал про описание клерков.
Интересный подход изучения MS SQL - с клерков.
Если взяться за тему с её не самой интересной части, то в итоге можно всё и забросить. IMXO
См. 13304587
Часто пляшут от проблем.

PS: Не отговариваю.
12 окт 12, 15:04    [13308922]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10802
Блог
aleks2
От того, что ты будешь знать "как" - ничо не изменится. ПОэтому смысла в этих "знаниях" немного.


Распространённое заблуждение :( Если не понимать, как распределяет память SQL Server, и не учитывать особенности этого распределения в своих приложениях баз данных - ждите беды. Современная архитектура NUMA подобного не прощает, даже на двухсокетных машина :(
12 окт 12, 15:09    [13308962]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6724
Александр Гладченко, Вот взяли и практически всех под плинтус вогнали.

Только вот надо понимать чем управлять и ради чего управлять. А то получается "И хрюкотали зелюки, Как мюмзики в мове"
На начальном этапе можно ограничится некоторыми элементарными правилами и принципами чтобы не вогнать себя в неэффективность.
Более того бизнес окружение настолько нестабильно, что технические решения практически никогда не могут быть эффективны.

Просто вы скорее админ, а тут ещё и разрабы тусуются. (ссори если чё) Совершенно разные взгляды на проблемы.
IMXO.

Например я не понимаю как надо этим управлять совершенно и что мне это даёт. Итак система состоит из лимон вещей, так тут надо ещё на чём-то заморачиваться. Я понимаю когда там нужно бескрайними объёмами фигачить на одной задаче, но бывает их тысячи.
Я не говорю про элементарные уровни упраления.

Ваше элементарное мировоззрение (для вас) мы даже близко не чувствуем, а тут вы "Распространённое заблуждение".
Заблуждение - это когда есть представление, но когда его нет - это просто невежество.
12 окт 12, 17:54    [13310298]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5123
Александр Гладченко
Распространённое заблуждение :( Если не понимать, как распределяет память SQL Server, и не учитывать особенности этого распределения в своих приложениях баз данных - ждите беды. Современная архитектура NUMA подобного не прощает, даже на двухсокетных машина :(

ИМХО повод для более толстого поста... Александр, могли бы вы развернуть свою мысль?
12 окт 12, 18:31    [13310508]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10802
Блог
Дедушка,

...получится действительно очень "толсто". Если кратко, то могут получиться большие перекосы в распределении пула по узлам, что чревато сильной деградацией производительности или необъяснимыми её провалами...
12 окт 12, 18:46    [13310613]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10802
Блог
Mnior
Александр Гладченко, Вот взяли и практически всех под плинтус вогнали.

Только вот надо понимать чем управлять и ради чего управлять. А то получается "И хрюкотали зелюки, Как мюмзики в мове"
На начальном этапе можно ограничится некоторыми элементарными правилами и принципами чтобы не вогнать себя в неэффективность.
Более того бизнес окружение настолько нестабильно, что технические решения практически никогда не могут быть эффективны.

Просто вы скорее админ, а тут ещё и разрабы тусуются. (ссори если чё) Совершенно разные взгляды на проблемы.
IMXO.

Например я не понимаю как надо этим управлять совершенно и что мне это даёт. Итак система состоит из лимон вещей, так тут надо ещё на чём-то заморачиваться. Я понимаю когда там нужно бескрайними объёмами фигачить на одной задаче, но бывает их тысячи.
Я не говорю про элементарные уровни упраления.

Ваше элементарное мировоззрение (для вас) мы даже близко не чувствуем, а тут вы "Распространённое заблуждение".
Заблуждение - это когда есть представление, но когда его нет - это просто невежество.


Я долго выбирал язвительное но не очень обидное слово
В самом деле, в эту тематику никому нет времени вникать глубоко (мне тоже), но я часто вижу последствия. Майкрософт тоже не находит времени/возможности на документирование этих аспектов. Вот и пребываем все в неведении, до "жаренного петуха"... :( А правда в том, что средствами администрирования перекосы пула по узлам править очень трудно, если изначально в проект не были заложены требования к секционированию нагрузки по узлам. Я таких требований ни разу не встречал...
12 окт 12, 18:53    [13310660]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6724
Александр Гладченко
Майкрософт тоже не находит времени/возможности на документирование этих аспектов.
Мне кажется это вообще невозможное явление в этой вселенной.

Вроде бы дело гуманитариев, ан нет они то в вопросе не бум-бум, а технарям или лень или не бум-бум в создание доков.
Пат?

Не думаю что дело было решено даже если бы скуль был Open Source.

Александр Гладченко, ваши слова по сигнатуре полны необходимых знаний, прям слюнки текут, но по семантике китайская грамота.
Т.е. в терминах конечно хорошо, но как популяризатор науки скуля может всётаки на независимом языке, вердикт этому продукту напишите. Аля:
M$ накосячил в предсказании ... простыми словами
Или, проблематика таких-то задачи такова что невозможно ... простыми словами

Да, да, мы такие наглые.
12 окт 12, 20:36    [13311151]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
komrad
Member

Откуда:
Сообщений: 5759
Mnior
Александр Гладченко, ваши слова по сигнатуре полны необходимых знаний, прям слюнки текут, но по семантике китайская грамота.


Может оказаться так, что перевод этой китайской грамоты никакой практической пользы не принесет.
12 окт 12, 22:52    [13311834]     Ответить | Цитировать Сообщить модератору
 Re: Вопросы по организации памяти SQL Server  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31983
Александр Гладченко
...получится действительно очень "толсто".
Так зачем себя ограничивать постами в форуме?

Прекрасная тема для статьи, хотя бы кратенько - каким образом разработчик может/должен учитывать особенности распределения памяти SQL Server на NUMA архитектурах :-)

Ждём-ждём!

:-)
12 окт 12, 23:50    [13312065]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить