Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Многократно повторяющийся цикл в SSIS пакете  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4373
господа,
есть такой вопрос. В SSIS пакете сделан цикл, который будет выполняться много раз -- 10000 или 100000 раз. В цикле простой DataFlow источник -> назначение.

Не зависнет ли это дело со временем? Он ведь пишел события в лог, и т.п. Не будет ли выедаться память со временем?

Кто-то делал такие навороты? Какие рузультата. MS SQL 2016
16 янв 19, 17:49    [21787121]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 30702
a_voronin
Не зависнет ли это дело со временем? Он ведь пишел события в лог, и т.п. Не будет ли выедаться память со временем?
Да вроде не "выедается". В самом SSIS.
16 янв 19, 19:06    [21787209]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
.Евгений
Member

Откуда:
Сообщений: 493
a_voronin,

Делаю перезапуск пакетов (из материнского) несколько тысяч запусков раз в час и более - память выедается, причем память unmanaged. Внутри нее отмечал данные логов (но не уверен, что проблема только в них). При активной работе утечка доходит до 0,5 Гб в час. Держу ее в рамках разумного посредством периодического рестарта.
16 янв 19, 20:49    [21787296]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 537
a_voronin,

Делал нечто подобное, цикл крутил тысяч пятьдесят. Работает, явных проблем с утечками не видел. SSIS 2014 и 2016.
17 янв 19, 11:14    [21787606]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 537
.Евгений
a_voronin,

Делаю перезапуск пакетов (из материнского) несколько тысяч запусков раз в час и более - память выедается, причем память unmanaged. Внутри нее отмечал данные логов (но не уверен, что проблема только в них). При активной работе утечка доходит до 0,5 Гб в час. Держу ее в рамках разумного посредством периодического рестарта.


А чем запускаете пакеты из родителя - задачей Execute Package? Если так, то это древний реликт и пример unmanaged SSIS task. Дочерний пакет свои логи передает родителю для корректной регистрации, видимо, на больших объемах ломается.
Что именно перезапускаете - исполнение родителя или сам SSIS сервис?
17 янв 19, 11:19    [21787611]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
.Евгений
Member

Откуда:
Сообщений: 493
Ferdipux
А чем запускаете пакеты из родителя - задачей Execute Package? Если так, то это древний реликт и пример unmanaged SSIS task.

Да, я делаю это стандартным способом. Вы это делаете скрипт таском? Если так, то доступны ли в вызываемых пакетах переменные вызывающего (так же, как для стандартного способа)?
Ferdipux
Что именно перезапускаете - исполнение родителя или сам SSIS сервис?

Память утекает у ISServerExec.exe. Соответственно, завершаю родителя и перезапускаю джобу с его вызовом.
17 янв 19, 11:56    [21787667]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 537
.Евгений
...
Да, я делаю это стандартным способом. Вы это делаете скрипт таском? Если так, то доступны ли в вызываемых пакетах переменные вызывающего (так же, как для стандартного способа)?


Можно вызывать пакет через C# или SQL, для проектной организации пакетов (для пакетной организации - тоже, но она устарела). Я это делал, когда нужно вызвать пакет из другого проекта. По сути, делается запуск пакета в другом процессе исполнения ISServerExec.
Преимущества - можно пускать пакет откуда угодно.
Недостатки - это другой процесс исполнения, собственные записи в SSISDB log, не связанные с родителем. По умолчанию запускается асинхронно, так что нужно сидеть и ловить окончание выполнения.

Значения переменных в параметры дочернего пакета или в его переменные передавать можно. Что нельзя - менять переменные родителя из дочернего (так как контекст выполнения не тот).
Пример кода как запускать пакеты.

Когда мне нужно запустить пакет из того же проекта - запускаю штатной задачей, на ваши проблемы не наталкивался. В поддержку MS обращались?
17 янв 19, 12:46    [21787746]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4373
.Евгений
a_voronin,

Делаю перезапуск пакетов (из материнского) несколько тысяч запусков раз в час и более - память выедается, причем память unmanaged. Внутри нее отмечал данные логов (но не уверен, что проблема только в них). При активной работе утечка доходит до 0,5 Гб в час. Держу ее в рамках разумного посредством периодического рестарта.


Евгений, а по факту, как быстро можно перезапускать пакет джобом, если онзакончился. Это за <1 секунды реально, чтобы происходило?
17 янв 19, 13:01    [21787769]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
.Евгений
Member

Откуда:
Сообщений: 493
Ferdipux
Можно вызывать пакет через C# или SQL, для проектной организации пакетов (для пакетной организации - тоже, но она устарела).
(...)
Что нельзя - менять переменные родителя из дочернего (так как контекст выполнения не тот).

Это все мне было известно. Чего я не видел, так это признания со стороны MS нативного запуска пакета "древним реликтом".
Ferdipux
Когда мне нужно запустить пакет из того же проекта - запускаю штатной задачей, на ваши проблемы не наталкивался. В поддержку MS обращались?
Не обращался. Предпочитаю не апеллировать к "высшим инстанциям", а найти workaround.
a_voronin
Евгений, а по факту, как быстро можно перезапускать пакет джобом, если онзакончился. Это за <1 секунды реально, чтобы происходило?

Смотря как это делать. Минимальный шаг расписания MS SQL - 10 секунд, так что отслеживание и запуск нужно перекладывать на нечто мониторящее.
17 янв 19, 13:13    [21787786]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 537
.Евгений
Чего я не видел, так это признания со стороны MS нативного запуска пакета "древним реликтом".

Это мое ХО, так как это один из немногих COM unmanaged тасков.
Была задача запускать пакет так же, как и этот таск, но из script task. Не нашел способа, может, вы сталкивались.

.Евгений
Предпочитаю не апеллировать к "высшим инстанциям", а найти workaround.

Был положительный опыт. Долго, нудно, но патч выпустили.
17 янв 19, 14:44    [21787922]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 537
a_voronin
а по факту, как быстро можно перезапускать пакет джобом, если онзакончился. Это за <1 секунды реально, чтобы происходило?

Не очень. Часто после запуска проходит секунд 5, и в логе SSISDB для пакета пишется "Starting execution". Еще если часто пускать разные пакеты (с зазором в 50-100 мс), в SSIS 2014 вылетала ошибка дедлока в SSISDB. В 2016 вроде починили.
17 янв 19, 14:47    [21787927]     Ответить | Цитировать Сообщить модератору
 Re: Многократно повторяющийся цикл в SSIS пакете  [new]
.Евгений
Member

Откуда:
Сообщений: 493
Ferdipux
Это мое ХО, так как это один из немногих COM unmanaged тасков.
Была задача запускать пакет так же, как и этот таск, но из script task. Не нашел способа, может, вы сталкивались.

Не сталкивался и не пытался найти, т.к. возможности стандартного таска меня устраивали.
.Евгений
Предпочитаю не апеллировать к "высшим инстанциям", а найти workaround.

Был положительный опыт. Долго, нудно, но патч выпустили.[/quot]
Долго - не успеет быть использованным в моем решении. Нудно - тратить время на отвлечение от моего решения. Нафиг надо.

Кроме того, у меня большой негатив в отношении команды, развивающей SSIS. Точнее, типа развивающей, ибо развития продукта практически не наблюдается, неудобства работы с продуктом не устраняют и, следовательно, просто губят его. То ли дело облака и хадупщина...
17 янв 19, 15:24    [21788004]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить