Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 SSIS SQL-Server to Oracle  [new]
analysts
Member

Откуда: Gardinas
Сообщений: 139
Всем привет.
Быстренько набросал и запустил ETL пакет по копированию данных из локальной таблицы SQL-Server в удаленный Oracle (без преобразования типов).
Количество строк в таблицу порядка 1 миллиона. Копирование происходит очень медленными темпами, где-то 40 тыс. записей за 10-20 минут, не подскажете в чем может быть проблема и как её можно решить?
1 дек 14, 16:38    [16932417]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
Glory
Member

Откуда:
Сообщений: 104751
Ну как написали, такая и скорость. Только зависимость обратная.
1 дек 14, 16:39    [16932427]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
analysts
Member

Откуда: Gardinas
Сообщений: 139
Glory, Это я уже понял. Т.е. все дело в преобразовании типов или как?)
1 дек 14, 16:52    [16932529]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
Glory
Member

Откуда:
Сообщений: 104751
analysts
Т.е. все дело в преобразовании типов или как?)

Вы что предлагаете угадать, что вы там "Быстренько набросал и запустил ETL пакет " ?
1 дек 14, 16:53    [16932536]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
analysts
Member

Откуда: Gardinas
Сообщений: 139
Glory, Нет. Я могу предоставить дополнительную информацию, просто не понимаю какую?
1 дек 14, 16:57    [16932570]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
Glory
Member

Откуда:
Сообщений: 104751
analysts
Я могу предоставить дополнительную информацию, просто не понимаю какую?

Вы пока вообще никакой информации не предоставили
1 дек 14, 17:18    [16932761]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
analysts
Member

Откуда: Gardinas
Сообщений: 139
analysts
ETL пакет по копированию данных из локальной таблицы SQL-Server в удаленный Oracle (без преобразования типов).
Количество строк в таблицу порядка 1 миллиона. Копирование происходит очень медленными темпами, где-то 40 тыс. записей за 10-20 минут
1 дек 14, 17:23    [16932811]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
Glory
Member

Откуда:
Сообщений: 104751
analysts
analysts
ETL пакет по копированию данных из локальной таблицы SQL-Server в удаленный Oracle (без преобразования типов).
Количество строк в таблицу порядка 1 миллиона. Копирование происходит очень медленными темпами, где-то 40 тыс. записей за 10-20 минут

И какие же команды ваш "ETL пакет по копированию данных" выполняет на SQL-Server и какие на Oracle ?
1 дек 14, 17:25    [16932820]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
analysts
Member

Откуда: Gardinas
Сообщений: 139
Glory
И какие же команды ваш "ETL пакет по копированию данных" выполняет на SQL-Server и какие на Oracle ?

А как это посмотреть?
1 дек 14, 17:53    [16933071]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
Гулин Федор
Member

Откуда: МИНСК
Сообщений: 1318
analysts
Всем привет.
Быстренько набросал и запустил ETL пакет по копированию данных из локальной таблицы SQL-Server в удаленный Oracle (без преобразования типов).
Количество строк в таблицу порядка 1 миллиона. Копирование происходит очень медленными темпами, где-то 40 тыс. записей за 10-20 минут, не подскажете в чем может быть проблема и как её можно решить?


я как то делал - гемор еще тот (на тесте все ок работало - а потом на проде ПЦ вылез)


1) лучше всего оаказаться от SSIS еслди целевые таблицы не SQL сервре

2) смотрите в сторону Attunity оно вроде быстро и версия 2.0
кстати если на аттунити то нужно оракл. драйвер юзать (не микрософт.)


и смотри с стороны оракла идут запросы на вставку - аттунити должне чего-то батчем вставлять

а вот станд. компоненты будут построчно вставлять

по моему и вылазить проблема
когда встваляетс куча одинаоквых инсетров с НЕ бинденными переменнными (забивается какой-то там оракл. кеш)


ps но я тогда отказался (и изначально выбор не мой)
1 дек 14, 18:44    [16933425]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
Alex_496
Member [заблокирован]

Откуда: https://www.dvbi.ru
Сообщений: 3869
analysts,

вряд ли Вы добьетесь наибольшей производительности, чем импорт из csv-файла (можно колонки фиксированной ширины) с помощью SQL Loader. В несколько потоков в таблицу Oracle без всяких индексов и constraint-ов. CSV-файлы должны физически лежать как можно ближе к серверу Oracle.

Кроме Attunity 2.0 встречал упоминание еще про более высокопроизводительную библиотеку для SSIS, но она коммерческая.
1 дек 14, 21:19    [16934050]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
analysts
Member

Откуда: Gardinas
Сообщений: 139
В общем установил я этот Attunity.
Пользуюсь этим гайдом: Add the Oracle Source and Oracle Destination Components to the Toolbox
Не получается добавить Oracle Source and Oracle Destination Components.
Т.к. их нет по следующему пути: Data Flow Sources->Choose Items->SSIS Data Flow Items.
Думаю это связано с тем, что установлен не тот клиент. Я пользуюсь тодом. Может ему какой-то другой нужен?
15 дек 14, 12:39    [16998222]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
analysts
Member

Откуда: Gardinas
Сообщений: 139
Если делать через *.csv, то получаю такую хрень:
"Import failed with the following error: Out of memory"
15 дек 14, 13:14    [16998408]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
analysts
Количество строк в таблицу порядка 1 миллиона. Копирование происходит очень медленными темпами, где-то 40 тыс. записей за 10-20 минут, не подскажете в чем может быть проблема и как её можно решить?


Я думаю проблема в том, когда идёт вставка в SQL Server там используется BULK INSERT. А вот можно ли из SSIS сделать BULK INSEST на ORACLE? Вы гуглили эту тему? Ещё такой момент. У некоторых преобразователей можно задать размеры буфера. Вы проверяли, какого размеры буферы выставлены.
15 дек 14, 15:07    [16999245]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
Гулин Федор
Member

Откуда: МИНСК
Сообщений: 1318
analysts
В общем установил я этот Attunity.
Пользуюсь этим гайдом: Add the Oracle Source and Oracle Destination Components to the Toolbox
Не получается добавить Oracle Source and Oracle Destination Components.
Т.к. их нет по следующему пути: Data Flow Sources->Choose Items->SSIS Data Flow Items.
Думаю это связано с тем, что установлен не тот клиент. Я пользуюсь тодом. Может ему какой-то другой нужен?


хм у нас сейчас все стоит и работает (Attunity 2.0)
скл-сервер правда 2012 - но думаю что и с 2008 все дложно рабоаттт

тоад - Это НЕ клиент - а чисто тулза для оракла (равно как пл-скл девелопер)
требующая полного оракл. клиента ( в отличие от родного скл-девелопера к-й на яве и к-й пашет просто )

могу предположить что вылезли какие то заморочки с 32 бит. и 64 бит. версиями клиентов
(я 64 бит. сносил нафиг - ибо проблем вылезало много )

зы поищи
Oracle_Driver_Configuration_SSIS_SSRS_SSAS_64_bit_Environment.pdf

очень хороший док там все расписано (он правда времен <= 2010 но думаю там ничего не изменилось )

ззы ну и МСДН форум иногда помогает если вдруг здесь не помогут
15 дек 14, 17:55    [17000453]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
Гулин Федор
Member

Откуда: МИНСК
Сообщений: 1318
a_voronin
analysts
Количество строк в таблицу порядка 1 миллиона. Копирование происходит очень медленными темпами, где-то 40 тыс. записей за 10-20 минут, не подскажете в чем может быть проблема и как её можно решить?


Я думаю проблема в том, когда идёт вставка в SQL Server там используется BULK INSERT. А вот можно ли из SSIS сделать BULK INSEST на ORACLE? Вы гуглили эту тему? Ещё такой момент. У некоторых преобразователей можно задать размеры буфера. Вы проверяли, какого размеры буферы выставлены.


по моему аттунити и делает это - а что точно можно глянуть запустив пакет и посмотрев запросы к-е он будет генерить
с стороны оракл. сервера
15 дек 14, 18:03    [17000485]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
Гулин Федор
Member

Откуда: МИНСК
Сообщений: 1318
analysts,

твоя ссылка по 1.0

2.0 тут :
http://www.microsoft.com/en-us/download/details.aspx?id=29283

Если подробней опишешь проблему - я могу глянуть
но воообщем прямой путь на MSDN

у нас сейчас стоит и работатет
по сравнению с зарузкой через линк-сервер к ораклу
реально быстрей
15 дек 14, 18:14    [17000526]     Ответить | Цитировать Сообщить модератору
 Re: SSIS SQL-Server to Oracle  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4902
Гулин Федор
a_voronin
пропущено...


Я думаю проблема в том, когда идёт вставка в SQL Server там используется BULK INSERT. А вот можно ли из SSIS сделать BULK INSEST на ORACLE? Вы гуглили эту тему? Ещё такой момент. У некоторых преобразователей можно задать размеры буфера. Вы проверяли, какого размеры буферы выставлены.


по моему аттунити и делает это - а что точно можно глянуть запустив пакет и посмотрев запросы к-е он будет генерить
с стороны оракл. сервера


У Oracle же есть серьезные средства мониторинта. Посмотрите список последних запросов. И ресурсы на них. Можно даже прогресс исполнения плана смотреть.
15 дек 14, 19:02    [17000787]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить