Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Импорт из Oracle 11 в MSSQL2012  [new]
Alex_496
Member [заблокирован]

Откуда: https://www.dvbi.ru
Сообщений: 3869
Доброго времени суток всем!

Интересует вопрос быстродействия импорта данных из Oracle 11 в MSSQL2012 EE на регулярной основе.
В таблицах по несколько сотен млн. записей, предположим, потребуется неоднократная полная перезаливка.
Кто какие самые быстрые варианты тестировал?

Линкованный сервер через Oracle OLE DB 64x, Attunity for SSIS или встречал упоминание более коммерческий драйвер для SSIS-ов....

Пока мне видится экспорт-импорт через csv-файлы с колонками фиксированной ширины - в несколько параллельных потоков (не менее 32 потока по числу процессоров), в каждом потоке примерно одинаковое количество записей --> в отдельные heap-таблицы --> далее switch в одну партиционированную таблицу.

Рассчитывать на фичи со стороны Oracle - вряд ли, только права на чтение данных и то в заданном технологическом окне.

Заранее спасибо за рекомендации.
9 дек 13, 22:05    [15267433]     Ответить | Цитировать Сообщить модератору
 Re: Импорт из Oracle 11 в MSSQL2012  [new]
lookat
Member

Откуда:
Сообщений: 135
Alex_496,

Можно попробовать драйверы DataDirect в Bulk Mode

http://www.datadirect.com/products/datadirect-connect/odbc-drivers/features/data-connectivity-features/bulk-load

Если не писать интерфейс самому,
то эти драйверы есть в OEM варианте
в составе некоторых ETL, например
-- Pervasive (нынче Actian Data Integrator :-)
-- expressor (нынче qlikview expressor :-)

Я пользовался года два назад старым экспрессором
для перекачки данных с минимальными изменениями схемы.
Вполне пристойно для таких задач.

Удачи
17 дек 13, 02:01    [15302359]     Ответить | Цитировать Сообщить модератору
 Re: Импорт из Oracle 11 в MSSQL2012  [new]
Boolean
Member

Откуда: Москва
Сообщений: 5
Alex_496,

Как раз недавно занимался похожей задачей.
Наибольшей производительности пока удалось достичь при помощи коннектора Attunity. При чем, если производить на стороне оракла конвертацию данных запроса к строковому типу, а потом тянуть их при помощи коннектора Attunity и производить обратную конвертацию уже на стороне MS SQL, то скорость передачи возрастает в 2 раза (такая вот особенность драйвера). Вот статья на эту тему http://blogs.msdn.com/b/sqlperf/archive/2009/08/14/using-ssis-to-get-data-out-of-oracle-a-big-surprise.aspx

Также можно поиграться с размерами пакетов передаваемых данных и с настройками буфера SSIS.

Если уже есть какие результаты, поделитесь пожалуйста.

Удачи!
17 дек 13, 02:32    [15302384]     Ответить | Цитировать Сообщить модератору
 Re: Импорт из Oracle 11 в MSSQL2012  [new]
Relic Hunter
Member

Откуда: AB
Сообщений: 7599
Alex_496,

Есть такой продукт Oracle Golden Gate. Работает он и с MSSQL. Лучше и быстрее ничего не найдете, т.к. продукт был написан не криворукими индусами из Оракла, а Оракла его перекупила.
17 дек 13, 03:05    [15302401]     Ответить | Цитировать Сообщить модератору
 Re: Импорт из Oracle 11 в MSSQL2012  [new]
Очень лысый
Member

Откуда: БОМЖ
Сообщений: 592
Golden Gate суть инструмент для репликации. Если репликация вписывается в проблему топикастера, то это и в самом деле лучшее решение: надёжное и производительное. Но GG стоит немалых денег.
Я в данном случае, в силу своей непроходимой лени, склонился бы к варианту с ssis вкупе с правильным драйвером, а если бы сильно прижало по производительности, то таки пришлось бы задуматься о csv. Пусть и геморно, но зато быстро и бесплатно.
17 дек 13, 14:43    [15305139]     Ответить | Цитировать Сообщить модератору
 Re: Импорт из Oracle 11 в MSSQL2012  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35396
Блог
Alex_496,

читали?
http://msmvps.com/blogs/gladchenko/archive/2010/03/09/1761298.aspx
17 дек 13, 15:34    [15305613]     Ответить | Цитировать Сообщить модератору
 Re: Импорт из Oracle 11 в MSSQL2012  [new]
Alex_496
Member [заблокирован]

Откуда: https://www.dvbi.ru
Сообщений: 3869
Критик
Alex_496,

читали?
http://msmvps.com/blogs/gladchenko/archive/2010/03/09/1761298.aspx


Да, читал в зарубежном оригинале.
Спасибо, почитаем в редакции Александра Гладченко.


p.s.
Golden Gate и IPC не доступны по определению, располагаем только SSIS.
18 дек 13, 17:58    [15313207]     Ответить | Цитировать Сообщить модератору
 Re: Импорт из Oracle 11 в MSSQL2012  [new]
Гулин Федор
Member

Откуда: МИНСК
Сообщений: 1318
Критик
Alex_496,

читали?
http://msmvps.com/blogs/gladchenko/archive/2010/03/09/1761298.aspx


мне актуально щас attunity 2.0 для SSiS 2012
ссылка не действующая - это про SSIS и Attunity или что другое ?
если про то - киньте рабочую
22 сен 14, 17:10    [16606130]     Ответить | Цитировать Сообщить модератору
 Re: Импорт из Oracle 11 в MSSQL2012  [new]
Alex_496
Member [заблокирован]

Откуда: https://www.dvbi.ru
Сообщений: 3869
Гулин Федор,

прикопал на всякий случай:
22 сен 14, 21:52    [16607169]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить