Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 SSISDB растет немеряно.  [new]
ГуЗы
Guest
Microsoft SQL Server 2012 - 11.0.5058.0 (X64)
May 14 2014 18:34:29
Copyright (c) Microsoft Corporation
Standard Edition (64-bit) on Windows NT 6.1 <X64> (Build 7601: Service Pack 1)
Так сложилось, что на этой версии приходится запускать огромное число джобов: где-то пара десятка пакетов, но стартуют каждый час.
В итоге получил, что объем ssisdb растет быстрее, чем объем рабочей базы. Хуже всего дело обстоит с operation_messages - похоже, что число записей в ней может только увеличиваться, что бы не менял в свойствах каталога.
Подмывает сделать ей truncate table и забыть на некоторое время о проблемах с объемом. Но как-то боязно. Менять тексты процедур обслуживания ssisdb так же не очень хочется.
М.б. есть какой-то более разумный путь уменьшить эту таблицу в объеме?
ЗЫ: срок хранения operations уменьшил до 90 суток...
15 июл 15, 17:54    [17896411]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
Glory
Member

Откуда:
Сообщений: 104751
ГуЗы
Подмывает сделать ей truncate table и забыть на некоторое время о проблемах с объемом. Но как-то боязно. Менять тексты процедур обслуживания ssisdb так же не очень хочется

https://msdn.microsoft.com/en-us/library/hh479588.aspx
15 июл 15, 18:26    [17896492]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
ГуЗы
Guest
Glory,
За ссылку - спасибо, но это все ясно и по БД.
Дело в том, что стандартные процедуры обслуживания пишут в эту чертову таблицу все действия над базой, в том числе и удаление строк, причем, похоже, что на каждую удаленную строку. В этом-то и проблема. Сейчас в этой табле 6*10**8 записей (свойства). Даже count(*) валится по нехватке памяти... (32Гб рам, 1БТ диск).
Да и не обратил бы внимания, но когда автоинкремент - джобы валятся.
15 июл 15, 21:08    [17897011]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32174
ГуЗы
За ссылку - спасибо, но это все ясно и по БД.
А в чём вопрос тогда?
В этой статье указано, как настроить конфигурацию, что бы удалялась ненужная информация.

Ну и вообще, посмотрите, на что там место уходит? Может, дампы пишутся огромные?
15 июл 15, 21:19    [17897062]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32174
ГуЗы
Сейчас в этой табле 6*10**8 записей (свойства). Даже count(*) валится по нехватке памяти...
Это же мало, ноль, можно сказать. 60 млн записей, и count(*) валится? И с чего count(*) может "валиться"? Ошибка то какая?
15 июл 15, 21:22    [17897069]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
ГуЗы
Guest
alexeyvg,
прошу простить. на порядок 600 мл записей...
15 июл 15, 21:23    [17897075]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
ГуЗы
Guest
alexeyvg,
По нехватке памяти
15 июл 15, 21:24    [17897080]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32174
ГуЗы
alexeyvg,
прошу простить. на порядок 600 мл записей...
А, да, 600 млн. Но всё равно, count - слишком просто, что то тут не так...
ГуЗы
По нехватке памяти
Лучше скопировать сюда текст (и запрос).

Можно ещё работать с таблицей internal.operation_messages, вместо вьюхи catalog.operation_messages
Тогда точно не будет ошибки, связанной с памятью.
ГуЗы
похоже, что число записей в ней может только увеличиваться, что бы не менял в свойствах каталога.
Так что, сервер не чистит журналы?
catalog.configure_catalog что говорит?

ГуЗы
Хуже всего дело обстоит с operation_messages -
Вообще, посчитайте count по message_type
И размер message.
15 июл 15, 21:42    [17897155]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
ГуЗы
Guest
alexeyvg,
select count(*) from internal.operation_messages 

А с ошибкой хуже. Не на работе. Да и ошибка - сообщение операционной системы типа: кончается память, закройте приложения...
15 июл 15, 21:50    [17897190]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 32174
ГуЗы
Да и ошибка - сообщение операционной системы типа: кончается память, закройте приложения...
Тогда сиквел тут ни причём. Он не контактирует с ОС по вопросам памяти во время выполнения запроса, он распоряжается тем, что у него уже есть (это строго говоря не так, но для данного случая можно считать это верным). И если памяти не хватает, он не сообщает об ошибке, а выбирает такие планы выполнения, механизмы кеширования и алгоритмы сортировки, которые памяти не требуют.
Наверняка это у вас ошибки приложения, а не сиквела.
15 июл 15, 22:00    [17897233]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
Александр Волок (def1983)
Member

Откуда: Rotterdam
Сообщений: 4959
Чтобы взять под контроль скорость прироста, убедитесь что у всех пакетов Logging Level - None или же хотя бы Basic


http://www.mattmasson.com/2011/12/what-events-are-included-in-the-ssis-catalog-log-levels/
15 июл 15, 23:47    [17897512]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
komrad
Member

Откуда:
Сообщений: 5921
ГуЗы,

посмотрите сюда:
SSISDB: Why bigger isn’t always better

кстати, размером потребленного этой бд буферного кэша не интересовались? полагаю, что будете удивлены ;)
16 июл 15, 01:26    [17897670]     Ответить | Цитировать Сообщить модератору
 Re: SSISDB растет немеряно.  [new]
ГуЗы
Guest
komrad,
Прошел по ссылке
http://thinknook.com/truncate-ssis-catalog-database-operation-log-tables-2012-11-03/
Понял, что не одинок в этой проблеме и предполагаемый путь решения уже кто-то проходил.
Кстати. Все пакеты наследуют уровень логирования от каталога, а вот изменить уровень логирования каталога никак не возможно через окно свойств каталога. Даже в административном режиме. Где-то глубже.
У пакетов же свойство LogginMode - раньше не обращал внимания - установлено в наследование. И доп. варианты: enable/disable.
Во всяком случае всем спасибо!
16 июл 15, 10:16    [17898287]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить