Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 SSIS: Валидация пакеты утомляет весь концепт стриминга данных...  [new]
Glebanski
Member

Откуда: Msk ->NL
Сообщений: 308
Привет,

Решили тут перевести загрузку данных с 2 раз в день на streaming, для чего существующий код был слегка адаптирован. Если раньше просто детектил дельту, то теперь принимает несколько параметров от внешнего сервиса, включая [ДатаОт, ДатаДо] и стартует процесс. Типа near-real-time.
Провели стресс-тест и выяснилось, что прекрасному SSIS нужно обычно 20 сек на Validation и еще 20 чтоб все загрузить (включая 10-300К транзакций за раз). Ну это ж бред, скажет каждый нормальный человек, тратить 50% processing time на одно и то же N раз в сутки.
Поставил всем DelayValidation в True, выиграл целых 3-5 сек! Не хотелось бы из-за такого безобразия отдавать весь ETL в руки C-шарперов, которые ХД и SQL видели только в кино, но у которых руки чешутся все переделать.

Какие могут быть варианты? Думаю может сделать бесконечный цикл, который бы вызывал другие (под-)пакеты с собственно всей логикой, а параметры для вызова брать из доп. таблицы, отмечая попутно уже обработанные?
Будет ли в таком случае каждый вложенный пакет снова и снова валидироваться перед выполнением? Пока не проверял. Буду благодарен за разумные идеи.
PS: ЕГЭ не сдавал - too old for this shit
25 апр 17, 00:22    [20431251]     Ответить | Цитировать Сообщить модератору
 Re: SSIS: Валидация пакеты утомляет весь концепт стриминга данных...  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7757
Glebanski,

real-time на SSIS не получится.
25 апр 17, 10:59    [20431848]     Ответить | Цитировать Сообщить модератору
 Re: SSIS: Валидация пакеты утомляет весь концепт стриминга данных...  [new]
Glebanski
Member

Откуда: Msk ->NL
Сообщений: 308
Ну совсем уж real-time не нужен.
Тем временем выяснилось, после просмотра ssislog , что валидация вроде бы особо не при чем. SSIS чем-то периодически занимается по 3-4 секунды перед стартом пэкеджа, что вовсе не логируется :-)
Кроме того, C-шарперы перед каждым вызовом коннектятся заново, что собсно и съедает кучу времени. Так что вопрос снимается, думаю...
25 апр 17, 14:43    [20432907]     Ответить | Цитировать Сообщить модератору
 Re: SSIS: Валидация пакеты утомляет весь концепт стриминга данных...  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3618
Владислав Колосов
Glebanski,

real-time на SSIS не получится.

угу.
репликация + голый sql. Это еще туда-сюда реалтайм
27 апр 17, 13:40    [20439966]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить