Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 NUMA nodes, Memory Allocation, etc  [new]
чурюпахо
Guest
Читаю о кишках SQL Server'а. Появилась куча вопросов.

Не пойму как SQL Server выделяет страницы виртуальной памяти, физически относящиеся к разным NUMA Node'ам?

Где-то читал, что почти методом тыка. Например, понадобилась память worker'у, работающему впределах логического процессорного узла 1, с помощью клерка выделяется нужное количество виртуальной памяти, с помощью Win API QueryVirtualMemoryEx определяются к какому физическому узлу памяти принадлежат выделенные страницы и если выясняется, что выделенная память относится к другому физическому узлу памяти, а не тому, который соответствует текущему процессорному узлу, то память хранится в Away Pool'e. Попытка выделения повторяется до тех пор, пока либо не будет получен кусок виртуальной памяти, относящейся к локальному физическому узлу памяти или не будет достигнут Memory Target, закончится стадия Growth и тогда из Away Pool'a быдет взят первый попавшийся кусок памяти (он соответствует другому физическому узлу памяти), которая будет теперь помечена как Foreign Memory.

Насколько сказанное соответствует действительности? Если это так то возникают еще вопросы.

1) У каждого логического узла памяти свой away pool?
2) Может так случиться, что worker на узле отличном от выше описанного узла 2, назовем его узел 1, потребует памяти, Memory Target давно достигнут, а вот Away pool'ы на узлах полны неиспользованной памяти, так вот при запросе памяти через клерка, этому узлу будет выдана из Away Pool'а по возможности его локальная память или первые попавшиеся страницы?

Где об этом всем читать? Kalen Dalney как-то обтекаемо пишет об этом всем.
26 июн 13, 16:13    [14487620]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
вам в блог Гладченко Александра, у него была шикарная статья с ражевыванием по етому поводу
26 июн 13, 16:30    [14487753]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
чурюпахо
Guest
Maxx
вам в блог Гладченко Александра, у него была шикарная статья с ражевыванием по етому поводу


Ссылкой не поделитесь? Нашел только эту http://msmvps.com/blogs/gladchenko/archive/2012/09/03/1815794.aspx

Но там, к сожалению очень обще.
26 июн 13, 17:08    [14488044]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
чурюпахо
Guest
Есть еще один вопрос, очень надеюсь, что сюда набегут и ответят. Говносрач, клочки волос и пятка в грудь приветствуется!

Предположим, есть 8 NUMA узлов, по четыре процессора. Для данного instance'a задана привязка всех процессоров из узлов 5, 4. По хорошему, серверу нужно будет оперировать страницами виртуальной памяти, которые будут привязаны к физической памяти в узлах 5, 4. Предположем, что задан Max Memory равный суммарному обьему памяти на этих двух узлах. Согласно найденному на просторах тырнета алгоритму (см. первый пост), в этом случае away pool будет забит до Target Memory (виртуальная память соответствующая физической в предшествующих узлах) и потом он будет выделять память изaway pool'а? Т. е. вся память или большая часть для узлов 5, 4 будет foreign memory. Или все не так?
26 июн 13, 17:19    [14488133]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31948
чурюпахо
Ссылкой не поделитесь? Нашел только эту http://msmvps.com/blogs/gladchenko/archive/2012/09/03/1815794.aspx

Но там, к сожалению очень обще.
Поиском можно найти 4 статьи:
http://msmvps.com/blogs/gladchenko/search.aspx?q=numa&o=Relevance
26 июн 13, 17:47    [14488292]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
чурюпахо
Guest
alexeyvg
чурюпахо
Ссылкой не поделитесь? Нашел только эту http://msmvps.com/blogs/gladchenko/archive/2012/09/03/1815794.aspx

Но там, к сожалению очень обще.
Поиском можно найти 4 статьи:
http://msmvps.com/blogs/gladchenko/search.aspx?q=numa&o=Relevance


спасибо. в этих статьях нашел ссылку наNUMA Support

кажется это оно.
27 июн 13, 14:16    [14491835]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6724
alexeyvg
http://msmvps.com/blogs/gladchenko/
Не открывается банально. Только для избранных видимо.
27 июн 13, 14:50    [14492114]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
чурюпахо
Guest
Mnior
alexeyvg
http://msmvps.com/blogs/gladchenko/
Не открывается банально. Только для избранных видимо.


это у вас провайдер шалит или админы, у меня открывается, но я на другом сайте читал статью

http://itband.ru/2010/06/sql-server-2008-r2-numa/#04

Кстати, в книжке Windows Internals M. Russinovich, d. Solomon должно быть описаны особенности NUMA в Windows. Только надо свежие версии книжки, у меня печатник 4 редакции там мало и шопотом (XP, 2003). А вот в 6 редакции может и есть (7/2008 R2).
27 июн 13, 14:57    [14492171]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31948
Mnior
alexeyvg
http://msmvps.com/blogs/gladchenko/
Не открывается банально. Только для избранных видимо.
Я взрослый! :-)
чурюпахо
это у вас провайдер шалит или админы
+1
Или сайт был временно недоступен, всякое может быть...
27 июн 13, 17:18    [14493351]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31948
alexeyvg
Mnior
пропущено...
Не открывается банально. Только для избранных видимо.
Я взрослый! :-)
чурюпахо
это у вас провайдер шалит или админы
+1
Или сайт был временно недоступен, всякое может быть...
Хотя странно, вроде сайт не такой, что бы доступ закрывали...

Вот у моего (или, может быть, для моего, с другой стороны) провайдера (onlime) долго был закрыт известный блогхостинг wordpress.com. С чего - непонятно...
27 июн 13, 17:24    [14493388]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6724
OFF
чурюпахо
это у вас провайдер шалит
Да, и меня это удивило. Прокси спасает.
27 июн 13, 17:55    [14493618]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10802
Блог
чурюпахо
Есть еще один вопрос, очень надеюсь, что сюда набегут и ответят. Говносрач, клочки волос и пятка в грудь приветствуется!

Предположим, есть 8 NUMA узлов, по четыре процессора. Для данного instance'a задана привязка всех процессоров из узлов 5, 4. По хорошему, серверу нужно будет оперировать страницами виртуальной памяти, которые будут привязаны к физической памяти в узлах 5, 4. Предположем, что задан Max Memory равный суммарному обьему памяти на этих двух узлах. Согласно найденному на просторах тырнета алгоритму (см. первый пост), в этом случае away pool будет забит до Target Memory (виртуальная память соответствующая физической в предшествующих узлах) и потом он будет выделять память изaway pool'а? Т. е. вся память или большая часть для узлов 5, 4 будет foreign memory. Или все не так?


Бывает и так, и это далеко не худший вариант. Покупайте оперетивку, в ней спасение.
27 июн 13, 18:27    [14493800]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
чурюпахо
Guest
Если кого будет интересовать эта тема. Тут дока *.docx по поддержке Windows больше чем 64 процессоров (группы и модифицированное/расширенное API). Все в одном месте.

тут

Только не ясно, пользуется ли всем этим SQL Server 2012. Хочется узнать побольше про away pool, действительно ли так все как в первом посте, не должно быть все так печально.
28 июн 13, 23:30    [14499662]     Ответить | Цитировать Сообщить модератору
 Re: NUMA nodes, Memory Allocation, etc  [new]
чурюпахо
Guest
просто бинго,

How It Works: SQL Server 2008 NUMA and Foreign Pages описание про Away Pool's присутствует


SQL Server 2012 performance issues in NUMA environments

How It Works: Soft NUMA, I/O Completion Thread, Lazy Writer Workers and Memory Nodes Бонус
29 июн 13, 01:58    [14500044]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить