Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 SSIS Performance Optimize  [new]
KORSA
Member

Откуда:
Сообщений: 56
ребята помогите ssis бьет по процессору 100%
а в конце или тормозит совсем или крушится
просмотрите пожалуйста может посоветуйте что то ?
загружаю 5 миллионов строк ~1.7GB


Processor: Intel(R) Xeon(TM) CPU 3.00GHz, (4 processors)
Memory: 8 GB
OS : Win 2008 r2 x64
SSIS: V2008



+ Package

http://i035.radikal.ru/1107/b8/435a9b53520d.jpg
Картинка с другого сайта.

+ Resource Manager

http://s54.radikal.ru/i145/1107/45/498956610c34.jpg
Картинка с другого сайта.

+ Task Manager

http://i003.radikal.ru/1107/3d/762eb526faab.jpg
Картинка с другого сайта.
7 июл 11, 12:07    [10937706]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
KORSA
Member

Откуда:
Сообщений: 56
да забыл приписат может это важно этот пакет запускается сдругова пакета

+ Package

http://s005.radikal.ru/i211/1107/6b/8da1d04ca0c9.png
Картинка с другого сайта.
7 июл 11, 12:15    [10937794]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Ray D
Member

Откуда: from the middle of nowhere
Сообщений: 3598
Блог
У лукапов Full Cache стоит? Есть среди них большие таблицы?
"крушится" с какой ошибкой?

На MS SQL все SP и CU стоят?
7 июл 11, 13:05    [10938245]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Идея
Guest
На уровне идеи... использовать предварительно сконфигурированный Cache Transform
7 июл 11, 13:27    [10938488]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3752
Slowly Changed Dimension выкинуть нах.....
7 июл 11, 15:05    [10939490]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
KORSA
Member

Откуда:
Сообщений: 56
[quot Ray D]У лукапов Full Cache стоит? Есть среди них большие таблицы?
"крушится" с какой ошибкой?

На MS SQL все SP и CU стоят?

все правильно а ошибку не смог прочесть создается дамп файл но error message пуст

Ivan Durak
Slowly Changed Dimension выкинуть нах.....


а что тогда использовать встроены компонент ещё хуже этот вроде по методу камбала написан и говорят что нормальный
7 июл 11, 15:37    [10939781]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Ray D
Member

Откуда: from the middle of nowhere
Сообщений: 3598
Блог
Что "все правильно"? Подключитесь с помощью management studio к серверу SSIS и покажите версию.
7 июл 11, 15:46    [10939843]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
KORSA
Member

Откуда:
Сообщений: 56
1. все лукапы Full Cache
2. больших таблиц нет max 30 count
3.все апдеити стоят
4.ошибку не смог прочесть создается дамп файл но error message пуст
5.версия 10.50.1777
7 июл 11, 16:19    [10940115]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Ray D
Member

Откуда: from the middle of nowhere
Сообщений: 3598
Блог
Ну а визуально на чем падает? Не на этом чудном SCD?
7 июл 11, 16:20    [10940130]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
KORSA
Member

Откуда:
Сообщений: 56
The buffer manager failed a memory allocation call for 10472352
bytes, but was unable to swap out any buffers to relieve memory pressure. 1086 b
uffers were considered and 1086 were locked. Either not enough memory is availab
le to the pipeline because not enough are installed, other processes were using
it, or too many buffers are locked.
End Info

WTF ?

запустил через command line
7 июл 11, 16:47    [10940378]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Andrey Sribnyak
Member

Откуда: Киев
Сообщений: 600
KORSA
1. все лукапы Full Cache
2. больших таблиц нет max 30 count
3.все апдеити стоят
4.ошибку не смог прочесть создается дамп файл но error message пуст
5.версия 10.50.1777


А попробовать использовать >>>Cache Transform <<< таки не?

как-то так?

К сообщению приложен файл. Размер - 25Kb
7 июл 11, 17:17    [10940679]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3752
KORSA
The buffer manager failed a memory allocation call for 10472352
bytes, but was unable to swap out any buffers to relieve memory pressure. 1086 b
uffers were considered and 1086 were locked. Either not enough memory is availab
le to the pipeline because not enough are installed, other processes were using
it, or too many buffers are locked.
End Info

WTF ?

запустил через command line

памяти не хватает, может DefaultBufferSize уменьши...или своп увеличь

p.s. А SСD выкинь... а лучше сожги
7 июл 11, 17:17    [10940681]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
KORSA
Member

Откуда:
Сообщений: 56
Andrey Sribnyak,

а чем мне это поможет ?
да может важно я строил свои пакет на х32 а запускаю (или мне кажется) на х64
7 июл 11, 22:57    [10942149]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
KORSA
Member

Откуда:
Сообщений: 56
Ivan Durak
KORSA
The buffer manager failed a memory allocation call for 10472352
bytes, but was unable to swap out any buffers to relieve memory pressure. 1086 b
uffers were considered and 1086 were locked. Either not enough memory is availab
le to the pipeline because not enough are installed, other processes were using
it, or too many buffers are locked.
End Info

WTF ?

запустил через command line

памяти не хватает, может DefaultBufferSize уменьши...или своп увеличь

p.s. А SСD выкинь... а лучше сожги


ну ты и в правду иван .
подскажи тогда что лучше под sql 2005?
7 июл 11, 22:59    [10942152]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Fire83
Member

Откуда: Гомель-Минск
Сообщений: 474
KORSA,

Думаю все-таки ваши в проблема в этом SCD. Это все же это custom component и вероятно в некоторых условиях имеются в нем проблемы с освобождением выделенных буферов, попробуйте для начала скачать последнюю версию с codeplex, если не поможет .. ну именно по этой причине я не люблю использовать бесплатные custom компонеты. Возможно стоит рассмотреть другие выриант работы с SCD, например использовать SQL оператор MERGE.
8 июл 11, 13:09    [10945031]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
KORSA
Member

Откуда:
Сообщений: 56
Fire83
KORSA,

Думаю все-таки ваши в проблема в этом SCD. Это все же это custom component и вероятно в некоторых условиях имеются в нем проблемы с освобождением выделенных буферов, попробуйте для начала скачать последнюю версию с codeplex, если не поможет .. ну именно по этой причине я не люблю использовать бесплатные custom компонеты. Возможно стоит рассмотреть другие выриант работы с SCD, например использовать SQL оператор MERGE.


SQL MERGE хороши вариант но он работает только на sql server 2008
8 июл 11, 14:02    [10945501]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Fire83
Member

Откуда: Гомель-Минск
Сообщений: 474
KORSA,

Да, конечно только на 2008, я просто сдумал что когда вы писали "10.50.1777" это была версия сиквела, не используемого SSIS.
8 июл 11, 16:15    [10946836]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3752
KORSA
Fire83
KORSA,

Думаю все-таки ваши в проблема в этом SCD. Это все же это custom component и вероятно в некоторых условиях имеются в нем проблемы с освобождением выделенных буферов, попробуйте для начала скачать последнюю версию с codeplex, если не поможет .. ну именно по этой причине я не люблю использовать бесплатные custom компонеты. Возможно стоит рассмотреть другие выриант работы с SCD, например использовать SQL оператор MERGE.


SQL MERGE хороши вариант но он работает только на sql server 2008

update + insert....
11 июл 11, 13:20    [10955316]     Ответить | Цитировать Сообщить модератору
 Re: SSIS Performance Optimize  [new]
Здесь глянь
Guest
KORSA
Andrey Sribnyak,

а чем мне это поможет ?
да может важно я строил свои пакет на х32 а запускаю (или мне кажется) на х64


http://www.sqlis.com/sqlis/post/Optimising-Lookups-with-the-Cache-Transform-(Video).aspx
12 июл 11, 14:14    [10961540]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить