Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Не очищается журнал транзакций  [new]
Jovanny
Member

Откуда:
Сообщений: 1195
Лог транзакций растёт на 60 Гб в день и достиг 3,4 Тб.
При этом его копирование делается ежедневно и ежедневный бекап составляет в среднем 10-20 Гб.
Долгоиграющих незакрытых транзакций нет.

Microsoft SQL Server 2016 (SP1) (KB3182545) - 13.0.4001.0 (X64) Oct 28 2016 18:17:30 Copyright (c) Microsoft Corporation Enterprise Edition: Core-based Licensing (64-bit) on Windows Server 2016 Datacenter 6.3 <X64> (Build 14393: )

Есть 3 In-Memory таблицы. Очень грешу на них, так как число файлов в файловой группе больше 8000 и её размер порядка 500 Гб,
при том, что общий размер таблиц около 5 Гб.

Помогите найти причину роста занятого места в логе транзакций.
14 дек 17, 13:27    [21033483]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6794
Jovanny,
a DURABILITY стоит SCHEMA_AND_DATA ?
14 дек 17, 13:33    [21033503]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Jovanny
Member

Откуда:
Сообщений: 1195
TaPaK,

Да.
14 дек 17, 13:37    [21033517]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Jovanny,
-- Manual checkpoint
CHECKPOINT
GO
И кошерная ссылка с картинками
14 дек 17, 13:54    [21033599]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Jovanny
Member

Откуда:
Сообщений: 1195
Andy_OLAP,

Пробовал. Не помогло.
14 дек 17, 13:56    [21033604]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
AlanDenton
Member [скрыт]

Откуда:
Сообщений: 1004
С Jovanny уже обсудили. Возмножно проблема в этом:

https://connect.microsoft.com/SQLServer/feedback/details/1021865/log-not-truncating-due-to-xpt-checkpoint

есть подозрение что опять разломали то что фиксили ранее:

PRECREATED FREE 16 640
ACTIVE DATA 47 6927
ACTIVE DELTA 47 393
ACTIVE ROOT 1 16
WAITING FOR LOG TRUNCATION DATA 3144 411080
WAITING FOR LOG TRUNCATION DELTA 3144 25432
WAITING FOR LOG TRUNCATION ROOT 1631 26096


SELECT state_desc  
 , file_type_desc  
 , COUNT(*) AS [count]  
 , SUM(file_size_in_bytes) / 1024 / 1024 AS [on-disk size MB]   
FROM sys.dm_db_xtp_checkpoint_files  
GROUP BY state, state_desc, file_type, file_type_desc  
ORDER BY state, file_type  

Добрые люди что думаете на сей счет? Как можно зафорсить очистку XTP файлов
14 дек 17, 13:57    [21033609]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Yasha123
Member

Откуда:
Сообщений: 1833
AlanDenton
Как можно зафорсить очистку XTP файлов

обратиться в поддержку MS
14 дек 17, 14:03    [21033630]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
AlanDenton
Member [скрыт]

Откуда:
Сообщений: 1004
Yasha123, отличное решение проблемы. За которое нужно ждать пару месяцев и получить ответ у нас нет репродьюса. Знаем. Уже обращялся я в свое время.
14 дек 17, 14:07    [21033643]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
AlanDenton
есть подозрение что опять разломали то что фиксили ранее:
Добрые люди что думаете на сей счет? Как можно зафорсить очистку XTP файлов

В чем тогда проблема развернуть рядом стенд с 2016 RTM и проверить, растет журнал или нет.
Если все нормально - значит, пока SP1 не для Вас. Ждите SP2.
14 дек 17, 14:19    [21033681]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Yasha123
Member

Откуда:
Сообщений: 1833
мое второе предложение разочарует вас еще больше:
не используйте то, что глючно.
откажитесь от этого инмемори, раз за свои развалы
товарищи из MS ответственности не несут.
14 дек 17, 14:22    [21033690]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
AlanDenton
Member [скрыт]

Откуда:
Сообщений: 1004
Yasha123
не используйте то, что глючно.

К слову скажу, что глючно все. Еще для 2012 сиквела Майки извинялись за трабл с ребилдом индексов, когда кластерный индекс ломался и данные потом не восстановить. Так что это повод не использовать индексы?

Тут картина прояснилась и интересно узнать у кого была похожая картина и как решали.
14 дек 17, 14:26    [21033717]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6794
Jovanny,
на всякий случай: репликации нет? always on?
14 дек 17, 14:30    [21033730]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Yasha123
Member

Откуда:
Сообщений: 1833
[quot AlanDenton]
Yasha123
Тут картина прояснилась и интересно узнать у кого была похожая картина и как решали.

вы же сами дали ссылку на коннект,
узнали, "у кого была похожая картина".
+ "и как решали": Workarounds 0
все такие тупые, что не придумали, как обойти баговину?
ну щас вас эксперт-то научит, у него на все ответы есть
14 дек 17, 14:38    [21033767]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
AlanDenton
Member [скрыт]

Откуда:
Сообщений: 1004
Yasha123, и к чему это было сказано позвольте узнать?
14 дек 17, 14:42    [21033785]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Jovanny
Member

Откуда:
Сообщений: 1195
TaPaK,

Есть одна snapshot репликация для 3 маленьких таблиц.
14 дек 17, 15:10    [21033921]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Jovanny
TaPaK,

Есть одна snapshot репликация для 3 маленьких таблиц.

А если взять 2016 RTM и настроить репликацию снапшотами для 3 маленьких таблиц на тестовом стенде - журнал так же будет расти?

Просто смысл работы парней из Редмонда не в том, чтобы допилить старые баги. А в том, чтобы запилить новые фичи. Потому что новые фичи позволяют им продавать облако Azure. Куда мы все дружно стройными рядами идем. И это процесс исторический и закономерный.
Следовательно, "отныне и повсеместно" (с) - все CU и SP будут неизбежно добавлять новые баги, ликвидируя только часть старых и делая другую часть старых еще более загадочной и неуловимой.

Все DBA MSSQL превратились в бета-тестеров. Не получается завести на 2016 SP1 - сидите на 2016 RTM. И так далее. Увы.
14 дек 17, 15:32    [21034032]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6794
что за чушь он несёт?

2 Jovanny
select name,log_reuse_wait_desc,log_reuse_wait_desc from sys.databases
14 дек 17, 15:36    [21034052]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Jovanny
Member

Откуда:
Сообщений: 1195
TaPaK,

Возвращает REPLICATION.
14 дек 17, 17:04    [21034430]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Jovanny
Member

Откуда:
Сообщений: 1195
Проблема решилась удалением существующей SNAPSHOT репликации.
Причём реплицируемые таблицы содержали по несколько строк, занимая по странице, а лог рос по 60 Гб в сутки.
Никакого отношения к In-Memory таблицам не имели.
14 дек 17, 17:07    [21034443]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
AlanDenton
Member [скрыт]

Откуда:
Сообщений: 1004
PRECREATED FREE 21 1039
PRECREATED DATA 2 256
PRECREATED DELTA 2 16
ACTIVE DATA 2 256
ACTIVE DELTA 2 16
ACTIVE ROOT 1 16
MERGE TARGET DATA 1 128
MERGE TARGET DELTA 1 8
WAITING FOR LOG TRUNCATION DATA 4 512
WAITING FOR LOG TRUNCATION DELTA 4 32
WAITING FOR LOG TRUNCATION ROOT 2 32

как оказалось бы не прав по поводу наезда на InMemory. За счет того что InMemory таблицы тоже в лог писались, а виртуальные файлы лога не освобождались из-за репликации, то файлы XTP тоже накапливались в системе.
14 дек 17, 17:13    [21034460]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6794
Jovanny
TaPaK,

Возвращает REPLICATION.

ну вот :)
14 дек 17, 17:20    [21034484]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Yasha123
Member

Откуда:
Сообщений: 1833
Jovanny
Проблема решилась удалением существующей SNAPSHOT репликации.
Причём реплицируемые таблицы содержали по несколько строк, занимая по странице, а лог рос по 60 Гб в сутки.
Никакого отношения к In-Memory таблицам не имели.

а при чем тут сколько строк в реплицируемых таблицах?
из лога ничего "выборочно" удалить нельзя.
и пока там будет хоть одна неотреплицированная запись,
лог не будет перезаписываться.
соответственно, он будет только расти,
на объем всего того, что валится в него после этой записи.
а вас изменения схемы реплицируются (ddl)?
сервер их выгребает из лога, так что одного ALTER достаточно,
чтобы ваш лог прекратил перезаписываться до очередной синхронизации
-----
вот и думай о людях хорошо.
log_reuse_wait_desc -- это первое, куда все смотрят, если лог невозможно перезаписывать.
а вы с такой уверенностью все описали,
что у меня даже сомнений не было, что у вас там xpt_Checkpoint.
ведь даже по приведенной AlanDenton ссылке это первое, что указано
14 дек 17, 17:26    [21034506]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
AlanDenton
Member [скрыт]

Откуда:
Сообщений: 1004
Yasha123, доступа к той базе у меня не было. Исходя из описания выше подумал на проблему что у меня была. Окалось не прав. Каюсь )
14 дек 17, 17:33    [21034534]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
invm
Member

Откуда: Москва
Сообщений: 9123
Jovanny
Проблема решилась удалением существующей SNAPSHOT репликации.
Это давнишняя беда
14 дек 17, 17:38    [21034563]     Ответить | Цитировать Сообщить модератору
 Re: Не очищается журнал транзакций  [new]
Yasha123
Member

Откуда:
Сообщений: 1833
AlanDenton
Yasha123, доступа к той базе у меня не было. Исходя из описания выше подумал на проблему что у меня была. Окалось не прав. Каюсь )

ну а я вообще же не знаю, вы там в соседних комнатах сидите или как :)
думаю, вы ж уже это проверили,
убедились, что инмемори баговина,
ну а от бага какие еще спасения...

вообще казалось бы, SNAPSHOT replication,
ну что могло позабыть SNAPSHOT REPLICATION в логе,
ведь это данные переливаются на момент синхронизации...
а вот оно как сделано, если схему реплицируете,
он не заново скриптует таблицу и данные в нее кладет,
а альтерит, выгребая ALTER из лога.
нехорошо как-то, на мой взгляд
14 дек 17, 18:08    [21034644]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить