Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
leonix
Member

Откуда:
Сообщений: 403
Скуль съедает 80 Гигов оперативки, всю оперативку. Можно ли глянуть чем он занимает память и можно ли повлиять на это.
Вдруг там хлам не нужный, а для нужных данных нехватает памяти.
27 июн 18, 15:55    [21525572]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6801
+

--*****************************************************************
-- BUFFER POOL
--****************************************************************
SET NOCOUNT ON
SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED
SET LOCK_TIMEOUT 10000

DECLARE @ServiceName NVARCHAR(100)
SET @ServiceName = CASE WHEN @@SERVICENAME = 'MSSQLSERVER'
                            THEN 'SQLServer:'
                        ELSE 'MSSQL$' + @@SERVICENAME + ':'
                        END

DECLARE @Perf TABLE (object_name nvarchar(20), counter_name nvarchar(128), instance_name nvarchar(128), cntr_value BIGINT, formatted_value NUMERIC(20, 2), shortname NVARCHAR(20))
INSERT INTO @Perf(object_name, counter_name, instance_name, cntr_value, formatted_value, shortname)
SELECT 
  CASE 
    WHEN CHARINDEX ('Memory Manager', object_name)> 0 THEN 'Memory Manager'
    WHEN CHARINDEX ('Buffer Manager', object_name)> 0 THEN 'Buffer Manager'
    WHEN CHARINDEX ('Plan Cache', object_name)> 0 THEN 'Plan Cache'
    WHEN CHARINDEX ('Buffer Node', object_name)> 0 THEN 'Buffer Node' -- 2008
    WHEN CHARINDEX ('Memory Node', object_name)> 0 THEN 'Memory Node' -- 2012
    WHEN CHARINDEX ('Cursor', object_name)> 0 THEN 'Cursor'
    ELSE NULL 
  END AS object_name,
  CAST(RTRIM(counter_name) AS NVARCHAR(100)) AS counter_name, 
  RTRIM(instance_name) AS instance_name, 
  cntr_value,
  CAST(NULL AS DECIMAL(20,2)) AS formatted_value,
  SUBSTRING(counter_name,  1, PATINDEX('% %', counter_name)) shortname
FROM sys.dm_os_performance_counters 
WHERE (object_name LIKE @ServiceName + 'Buffer Node%'     -- LIKE is faster than =. I have no idea why
    OR object_name LIKE @ServiceName + 'Buffer Manager%' 
    OR object_name LIKE @ServiceName + 'Memory Node%' 
    OR object_name LIKE @ServiceName + 'Plan Cache%')
  AND (counter_name LIKE '%pages %' 
    OR counter_name LIKE '%Node Memory (KB)%'
    OR counter_name = 'Page life expectancy' 
    )
    OR  (object_name = @ServiceName + 'Memory Manager'
        AND counter_name IN ('Granted Workspace Memory (KB)', 'Maximum Workspace Memory (KB)',
                                    'Memory Grants Outstanding',     'Memory Grants Pending',
                                    'Target Server Memory (KB)',     'Total Server Memory (KB)',
                                    'Connection Memory (KB)',        'Lock Memory (KB)',
                                    'Optimizer Memory (KB)',         'SQL Cache Memory (KB)',
                                    -- for 2012
                                    'Free Memory (KB)',              'Reserved Server Memory (KB)',
                                    'Database Cache Memory (KB)',    'Stolen Server Memory (KB)')
      )
    OR (object_name LIKE @ServiceName + 'Cursor Manager by Type%'
      AND counter_name = 'Cursor memory usage'
      AND instance_name = '_Total'
      )

-- Add unit to 'Cursor memory usage'
UPDATE @Perf
SET counter_name = counter_name + ' (KB)'
WHERE counter_name = 'Cursor memory usage' 

-- Convert values from pages and KB to MB and rename counters accordingly
UPDATE @Perf
SET 
  counter_name = REPLACE(REPLACE(REPLACE(counter_name, ' pages', ''), ' (KB)', ''), ' (MB)', ''), 
  formatted_value = 
  CASE 
    WHEN counter_name LIKE '%pages' THEN cntr_value/128. 
    WHEN counter_name LIKE '%(KB)' THEN cntr_value/1024. 
    ELSE cntr_value
  END

-- Delete some pre 2012 counters for 2012 in order to remove duplicates
DELETE P2008
FROM @Perf P2008
INNER JOIN @Perf P2012 ON REPLACE(P2008.object_name, 'Buffer', 'Memory') = P2012.object_name AND P2008.shortname = P2012.shortname
WHERE P2008.object_name IN ('Buffer Manager', 'Buffer Node')

-- Update counter/object names so they look like in 2012
UPDATE PC
SET 
  object_name = REPLACE(object_name, 'Buffer', 'Memory'),
  counter_name = ISNULL(M.NewName, counter_name)  
FROM @Perf PC
  LEFT JOIN
  (
    SELECT 'Free' AS OldName, 'Free Memory' AS NewName UNION ALL
    SELECT 'Database', 'Database Cache Memory' UNION ALL
    SELECT 'Stolen', 'Stolen Server Memory' UNION ALL
    SELECT 'Reserved', 'Reserved Server Memory' UNION ALL
    SELECT 'Foreign', 'Foreign Node Memory'
  ) M ON M.OldName = PC.counter_name
  AND NewName NOT IN (SELECT counter_name FROM @Perf WHERE object_name = 'Memory Manager') 
WHERE object_name IN ('Buffer Manager', 'Buffer Node')


-- Build Memory Tree
DECLARE @MemTree TABLE (Id int, ParentId int, counter_name nvarchar(128), formatted_value NUMERIC(20, 2), shortname NVARCHAR(20))

-- Level 5
INSERT @MemTree(Id, ParentId, counter_name, formatted_value, shortname)
SELECT
  Id = 1226,
  ParentId = 1225,
  instance_name as counter_name, 
  formatted_value,
  shortname
FROM @Perf
WHERE object_name = 'Plan Cache' 
  AND counter_name IN ('Cache')
  AND instance_name <> '_Total'

-- Level 4
INSERT @MemTree(Id, ParentId, counter_name, formatted_value, shortname)
SELECT
  Id = 1225,
  ParentId = 1220,
  'Plan ' + counter_name as counter_name, 
  formatted_value,
  shortname
FROM @Perf
WHERE object_name = 'Plan Cache' 
  AND counter_name IN ('Cache')
  AND instance_name = '_Total'

UNION ALL

SELECT
  Id = 1222,
  ParentId = 1220,
  counter_name, 
  formatted_value,
  shortname
FROM @Perf
WHERE object_name = 'Cursor'
  OR (object_name = 'Memory Manager' AND shortname IN ('Connection', 'Lock', 'Optimizer', 'SQL')) 

UNION ALL

SELECT
  Id = 1112,
  ParentId = 1110,
  counter_name, 
  formatted_value,
  shortname
FROM @Perf
WHERE object_name = 'Memory Manager' 
  AND shortname IN ('Reserved')
UNION ALL
SELECT
  Id = P.ParentID + 1,
  ParentID = P.ParentID,
  'Used Workspace Memory' AS counter_name,
  SUM(used_memory_kb)/1024. as formatted_value,
  NULL AS shortname
FROM sys.dm_exec_query_resource_semaphores 
  CROSS JOIN (SELECT 1220 AS ParentID UNION ALL SELECT 1110) P
GROUP BY P.ParentID

-- Level 3
INSERT @MemTree(Id, ParentId, counter_name, formatted_value, shortname)
SELECT
  Id = CASE counter_name 
           WHEN 'Granted Workspace Memory' THEN 1110 
           WHEN 'Stolen Server Memory' THEN 1220 
           ELSE 1210
         END,
  ParentId = CASE counter_name 
               WHEN 'Granted Workspace Memory' THEN 1100 
               ELSE 1200 
             END,
  counter_name, 
  formatted_value,
  shortname
FROM @Perf
WHERE object_name = 'Memory Manager' 
  AND counter_name IN ('Stolen Server Memory', 'Database Cache Memory', 'Free Memory', 'Granted Workspace Memory')

-- Level 2
INSERT @MemTree(Id, ParentId, counter_name, formatted_value, shortname)
SELECT
  Id = CASE WHEN counter_name = 'Maximum Workspace Memory' THEN 1100 ELSE 1200 END,
  ParentId = 1000,
  counter_name, 
  formatted_value,
  shortname
FROM @Perf
WHERE object_name = 'Memory Manager' AND 
  counter_name IN ('Total Server Memory', 'Maximum Workspace Memory') 
UNION ALL
SELECT 
  Id = 1150,
  ParentId = 1000,
  counter_name = 'Foreign Node Memory', 
  formatted_value = SUM(formatted_value),
  shortname = 'Foreign'
FROM @Perf
WHERE object_name = 'Memory Node' AND 
  counter_name IN ('Foreign Node Memory')
HAVING SUM(formatted_value) > 0

-- Level 1
INSERT @MemTree(Id, ParentId, counter_name, formatted_value, shortname)
SELECT 
  Id = 1000,
  ParentId = NULL,
  counter_name, 
  formatted_value,
  shortname
FROM @Perf
WHERE object_name = 'Memory Manager' AND 
  counter_name IN ('Target Server Memory')

-- Level 4 -- 'Other Stolen Server Memory' = 'Stolen Server Memory' - SUM(Children of 'Stolen Server Memory')
INSERT @MemTree(Id, ParentId, counter_name, formatted_value, shortname)
SELECT
  Id = 1222,
  ParentId = 1220,
  counter_name = '<Other Memory Clerks>', 
  formatted_value = (SELECT SSM.formatted_value FROM @MemTree SSM WHERE Id = 1220) - SUM(formatted_value),
  shortname = 'Other Stolen'
FROM @MemTree 
WHERE ParentId = 1220

-- Results:

-- PLE and Memory Grants
SELECT
    [Counter Name] = P.counter_name + ISNULL(' (Node: ' + NULLIF(P.instance_name, '') + ')', ''), 
    cntr_value as Value,
    RecommendedMinimum = 
        CASE 
            WHEN P.counter_name = 'Page life expectancy' AND R.Value <= 300 -- no less than 300
                THEN 300
            WHEN P.counter_name = 'Page life expectancy' AND R.Value > 300 
                THEN R.Value
            ELSE NULL 
        END
FROM @Perf P
LEFT JOIN -- Recommended PLE calculations
    (
        SELECT 
            object_name, 
            counter_name, 
            instance_name, 
            CEILING(formatted_value/4096.*5) * 60 AS Value -- 300 per every 4GB of Buffer Pool memory or around 60 seconds (1 minute) per every 819MB
        FROM @Perf PD
        WHERE counter_name = 'Database Cache Memory'
    ) R ON R.object_name = P.object_name 
       AND R.instance_name = P.instance_name
WHERE 
  (P.object_name = 'Memory Manager' 
  AND P.counter_name IN ('Memory Grants Outstanding', 'Memory Grants Pending', 'Page life expectancy')
  )
    OR -- For NUMA
  (
    P.object_name = 'Memory Node' AND P.counter_name = 'Page life expectancy'
    AND (
        SELECT COUNT(DISTINCT instance_name)
        FROM @Perf 
        WHERE object_name = 'Memory Node'
    ) > 1
  )
ORDER BY P.counter_name DESC, P.instance_name

-- Get physical memory
-- You can also extract this information from sys.dm_os_sys_info but the column names have changed starting from 2012
IF OBJECT_ID('tempdb..#msver') IS NOT NULL DROP TABLE #msver
CREATE TABLE #msver(ID int, Name  sysname, Internal_Value int, Value nvarchar(512))
INSERT #msver EXEC master.dbo.xp_msver 'PhysicalMemory'

-- Physical memory, config parameters and Target memory
SELECT 
  min_server_mb = (SELECT CAST(value_in_use AS DECIMAL(20, 2)) FROM sys.configurations WHERE name = 'min server memory (MB)'),
  max_server_mb = (SELECT CAST(value_in_use AS DECIMAL(20, 2)) FROM sys.configurations WHERE name = 'max server memory (MB)'),
  target_mb = (SELECT formatted_value FROM @Perf WHERE object_name = 'Memory Manager' AND counter_name IN ('Target Server Memory')),
  physical_mb = CAST(Internal_Value AS DECIMAL(20, 2))
FROM #msver

-- Memory tree
;WITH CTE
AS
(
SELECT 0 as lvl, counter_name, formatted_value, Id, NULL AS ParentId, shortname, formatted_value as TargetServerMemory, CAST(NULL AS DECIMAL(20,4)) As Perc, CAST(NULL AS DECIMAL(20,4)) As PercOfTarget
FROM @MemTree
WHERE ParentId IS NULL
UNION ALL
SELECT CTE.lvl+1,
  CAST(REPLICATE(' ', 6*(CTE.lvl)) + NCHAR(124) + REPLICATE(NCHAR(183), 3) + MT.counter_name AS NVARCHAR(128)), 
  MT.formatted_value, MT.Id, MT.ParentId, MT.shortname, CTE.TargetServerMemory,
  CAST(ISNULL(1.0*MT.formatted_value/NULLIF(CTE.formatted_value, 0),0) AS DECIMAL(20,4)) AS Perc,
  CAST(ISNULL(1.0*MT.formatted_value/NULLIF(CTE.TargetServerMemory, 0),0) AS DECIMAL(20,4)) AS PercOfTarget
FROM @MemTree MT
  INNER JOIN CTE ON MT.ParentId = CTE.ID
)
SELECT 
  counter_name AS [Counter Name], CASE WHEN formatted_value > 0 THEN formatted_value ELSE NULL END AS [Memory MB], Perc AS [% of Parent], CASE WHEN lvl >= 2 THEN PercOfTarget ELSE NULL END AS [% of Target]
FROM CTE
ORDER BY ISNULL(ID, 10000), formatted_value DESC

27 июн 18, 16:01    [21525605]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
boltnik
Member

Откуда: Калуга/Москва
Сообщений: 144
TaPaK,

по базам
автор
SELECT
databases.name AS database_name,
COUNT(*) * 8 / 1024 AS mb_used
FROM sys.dm_os_buffer_descriptors
INNER JOIN sys.databases
ON databases.database_id = dm_os_buffer_descriptors.database_id
GROUP BY databases.name
ORDER BY COUNT(*) DESC;


по объектам в конкретной базе
автор
SELECT
objects.name AS object_name,
objects.type_desc AS object_type_description,
COUNT(*) AS buffer_cache_pages,
COUNT(*) * 8 / 1024 AS buffer_cache_used_MB
FROM sys.dm_os_buffer_descriptors
INNER JOIN sys.allocation_units
ON allocation_units.allocation_unit_id = dm_os_buffer_descriptors.allocation_unit_id
INNER JOIN sys.partitions
ON ((allocation_units.container_id = partitions.hobt_id AND type IN (1,3))
OR (allocation_units.container_id = partitions.partition_id AND type IN (2)))
INNER JOIN sys.objects
ON partitions.object_id = objects.object_id
WHERE allocation_units.type IN (1,2,3)
AND objects.is_ms_shipped = 0
AND dm_os_buffer_descriptors.database_id = DB_ID()
GROUP BY objects.name,
objects.type_desc
ORDER BY COUNT(*) DESC;
27 июн 18, 16:05    [21525619]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
leonix
Member

Откуда:
Сообщений: 403
Спасибо большое! Буду разбираться.
27 июн 18, 16:06    [21525622]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
leonix
Member

Откуда:
Сообщений: 403
Да, запросы хорошие.
Посмотрел по базам и таблицам.
Можно ли както управлять этим.
Например, сбросить из памяти ненужную таблицу.
27 июн 18, 16:28    [21525679]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
boltnik
Member

Откуда: Калуга/Москва
Сообщений: 144
leonix, выборочно нельзя, только весь кэш.
27 июн 18, 16:44    [21525750]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
komrad
Member

Откуда:
Сообщений: 5245
boltnik
leonix, выборочно нельзя, только весь кэш.

ну почему же, можно базу offline/online сделать
27 июн 18, 16:51    [21525769]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
Yasha123
Member

Откуда:
Сообщений: 1833
leonix
Можно ли както управлять этим.
Например, сбросить из памяти ненужную таблицу.

выставьте max server memory
27 июн 18, 18:43    [21526157]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
WarAnt
Member

Откуда: Питер
Сообщений: 2421
leonix
Да, запросы хорошие.
Посмотрел по базам и таблицам.
Можно ли както управлять этим.
Например, сбросить из памяти ненужную таблицу.


Вы считаете себя умнее сиквела?
Он держит в памяти только объекты которые ему нужны для выполнения запросов, и хлама там по определению быь не может.
Если вам нехватает памяти для работы других приложений на том же сервере что и скуль, то просто ограничть мак памть сиквела, ничего умнее вы все равно сделать с памятью не сможете и в лучшем случае будете просто мешать его работе.
28 июн 18, 13:36    [21528333]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
msLex
Member

Откуда:
Сообщений: 8091
WarAnt
leonix
Да, запросы хорошие.
Посмотрел по базам и таблицам.
Можно ли както управлять этим.
Например, сбросить из памяти ненужную таблицу.


Вы считаете себя умнее сиквела?
Он держит в памяти только объекты которые ему нужны для выполнения запросов, и хлама там по определению быь не может.
Если вам нехватает памяти для работы других приложений на том же сервере что и скуль, то просто ограничть мак памть сиквела, ничего умнее вы все равно сделать с памятью не сможете и в лучшем случае будете просто мешать его работе.


Есть случаи, когда доступ к одним данным должен быть быстрее чем к другим не зависимо от того, как часто эти данные читаются.
Например, текущий остаток по счету должен возвращаться достаточно быстро, независимо от времени его последнего чтения или обновления.

Когда-то давно для этого было DBCC PINTABLE, сейчас ближайшим аналогом являются in-memory таблицы
28 июн 18, 13:47    [21528383]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
SFlash
Member

Откуда:
Сообщений: 143
[quot msLex]
WarAnt
пропущено...


Например, текущий остаток по счету должен возвращаться достаточно быстро, независимо от времени его последнего чтения или обновления.


С чего бы это? Грубо выражаясь, если с момента запуска скуля данные по этому счету не читались с диска, то они в 99% не будут лежать в памяти. Даже если ее море свободной, или не было полного скана таблицы. А возвращать достаточно быстро это все относительно. Данные на SSD + много (достаточно) памяти, тогда все будет и первый раз читаться будет быстро и потом лежать в кэше.
При нормальных индексах и корректном запросе даже с обычного HDD данные получите через максимум десяток милисекунд. Что достаточно для самого нетерпеливого клиента.
28 июн 18, 14:14    [21528479]     Ответить | Цитировать Сообщить модератору
 Re: SQL Server cъедает всю память. Можно ли посмотреть что именно заполняет память?  [new]
msLex
Member

Откуда:
Сообщений: 8091
[quote SFlash]
msLex
WarAnt
пропущено...


Например, текущий остаток по счету должен возвращаться достаточно быстро, независимо от времени его последнего чтения или обновления.


С чего бы это? Грубо выражаясь, если с момента запуска скуля данные по этому счету не читались с диска, то они в 99% не будут лежать в памяти. Даже если ее море свободной, или не было полного скана таблицы. А возвращать достаточно быстро это все относительно. Данные на SSD + много (достаточно) памяти, тогда все будет и первый раз читаться будет быстро и потом лежать в кэше.
При нормальных индексах и корректном запросе даже с обычного HDD данные получите через максимум десяток милисекунд. Что достаточно для самого нетерпеливого клиента.


Это был простой пример, демонстрирующий что требуемая скорость доступа к разным данным может зависит не от частоты их использования (на что опирается SQL Server) а внешними, бизнес требованиями.
28 июн 18, 15:42    [21528850]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить