Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 SSIS/Perf  [new]
^ozzy^
Member

Откуда:
Сообщений: 465
Подскажите наилучший способ по скорости перекачки через SSIS данных из базы на основе Teradata в MS SQL. Порядка 100 Gb, уложиться надо в 1 час(это периодичность), структура 1 в 1. 50 таблиц. одна таблица - 70% от общего объема, её инкрементально загружать нельзя.
Может есть какие-то benchmark'и, гугл не особо помог в этом деле.
Спасибо.
21 янв 12, 20:46    [11945882]     Ответить | Цитировать Сообщить модератору
 Re: SSIS/Perf  [new]
Гавриленко Сергей Алексеевич
Member

Откуда:
Сообщений: 37254
Быстро лить получится только параллельно в несколько коннектов.
21 янв 12, 21:05    [11946008]     Ответить | Цитировать Сообщить модератору
 Re: SSIS/Perf  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31982
^ozzy^
Может есть какие-то benchmark'и, гугл не особо помог в этом деле.
На tpc.org посмотрите, там есть и про загрузку данных.
^ozzy^
Порядка 100 Gb, уложиться надо в 1 час(это периодичность)
То есть каждый час 100 гб, 2.4 Тб в сутки, 73 Тб в месяц, и т.д. ?
^ozzy^
Подскажите наилучший способ по скорости перекачки через SSIS данных из базы на основе Teradata в MS SQL.
Зависит от того, откуда и куда льёте, в смысле, детали задачи.

Например, есть ли в таблицах-приёмниках индексы, пустые таблицы или нет, если не пустые, можно ли сделать секционирование и загружать в секции, которые потом присоединять...

По объёму это 27 мегабайт/сек, с учётом того, что сама загрузка данных будет занимать далеко не всё время (видимо, всё таки нужно будет строить индексы, делать какую то обработку), скорость должна быть достаточно приличная, видимо, нужно распределять таблицы по разным файл-группам.

Ну и "откуда" - тут вряд ли кто то знает тонкости выкачивания данных из Teradata, нужно смотреть на каких то ресурсах, форумах по этой СУБД. Допустим, на http://www.teradataforum.com/
21 янв 12, 23:13    [11946506]     Ответить | Цитировать Сообщить модератору
 Re: SSIS/Perf  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3754
теоретически возможно. SSIS как раз быстро льет 1в1 без трансформаций.
Пробуй.
Вот статья там и SSIS есть, читай
http://msmvps.com/blogs/gladchenko/archive/2010/03/09/1761298.aspx
23 янв 12, 14:22    [11952401]     Ответить | Цитировать Сообщить модератору
 Re: SSIS/Perf  [new]
^ozzy^
Member

Откуда:
Сообщений: 465
Всем спасибо за ответы.
Пошел по приведенным ссылкам и экспериментировать.
26 янв 12, 21:30    [11979522]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить