Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Перенос данных их MS SQL в PostgreSQL  [new]
impala67
Member

Откуда:
Сообщений: 8
Добрый день!

Пытаюсь перенести достаточно большую БД с MS SQL 2008 на PostgreSQL 9.

Пользовался ODBC драйвером.

Проблема следующая: при попытке переноса с помощью DTS Imort/Export Wizard выдает очень много ошибок.
Также неверно определяет типы данных(например вместо varvhar(200) выдает 129, что, в свою очередь тоже вызывает ошибки), из-за чего приходится вручную переставлять типы данных(помните, база большая).
Если, к примеру, выбираю для импорта несколько таблиц, например: 1, 2, 3, 4, 5, Wizard выдает ошибку совместимости типов для таблицы 3, я возвращаюсь назад, меняю тип данных ВСЕХ атрибутов на varchar, повторяю процедуру - снова ошибка. Тогда я возвращаюсь, помечаю к импорту только таблицу номер 3(с остальных снимаю галки) - импорт проходит нормально. Что может служить причиной такого поведения?

Вопрос также, как вы мигрировали таблицы с MS SQL на PostgreSQL, чем пользовались, какие шишки набили, если есть те, кто уже переносил данные? Есть ли другие варианты, кроме как скриптом и DTS? Быть может SSIS настроить(хотя, Imort/Export Wizard тоже часть SSIS )?
Скриптами не вариант - слишком большой объем данный, к тому же есть таблицы очень больших размеров(порядка 15 Gb).
Нет желания сидеть и перегонять каждую таблицу вручную, из-за ошибок весь процесс тормозится.

Или это проблема драйвера?
10 сен 13, 16:47    [14821393]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
Гость333
Member

Откуда:
Сообщений: 3683
+
impala67
как вы мигрировали таблицы с MS SQL на PostgreSQL

Никак не мигрировали, мы же не предатели
10 сен 13, 16:51    [14821430]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
impala67
Member

Откуда:
Сообщений: 8
Гость333
Никак не мигрировали, мы же не предатели


Спасибки, очень информативно. :) И помогает.
10 сен 13, 16:53    [14821454]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
impala67
Member

Откуда:
Сообщений: 8
То есть не импортировать, а экспортировать, простите :)
10 сен 13, 16:55    [14821468]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74925
А никто, собственно, и не обещал, что процесс миграции на другую СУБД можно сделать за несколько кликов мышью в визарде. Серьезный подход мог бы выглядеть так:

1. Создание новой структуры данных на СУБД - приемнике (с необходимым ручным выбором соответствующих типов данных);
2. Выгрузка в csv данных на СУБД - источнике средствами массовой выгрузки СУБД источника;
3. Загрузка данных в СУБД - приемник средствами массовой загрузки СУБД приемника.

автор
Скриптами не вариант - слишком большой объем данный, к тому же есть таблицы очень больших размеров(порядка 15 Gb).

Еще как, вариант, ибо Вы сможете использовать средства массовой выгрузки\загрузки каждой из СУБД, а не позаписную вставку через ODBC.
10 сен 13, 16:59    [14821504]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
Andrey Sribnyak
Member

Откуда: Киев
Сообщений: 599
Репликацией? :)

http://blog.hagander.net/archives/103-Replicating-from-MS-SQL-Server-to-PostgreSQL.html
10 сен 13, 17:00    [14821518]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
перевожу тут
Guest
pkarklin
автор
Скриптами не вариант - слишком большой объем данный, к тому же есть таблицы очень больших размеров(порядка 15 Gb).

Еще как, вариант, ибо Вы сможете использовать средства массовой выгрузки\загрузки каждой из СУБД, а не позаписную вставку через ODBC.

ТС под "скриптами" имел в виду получение миллионов команд INSERT, заполненных данными
10 сен 13, 17:03    [14821544]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74925
перевожу тут
ТС под "скриптами" имел в виду получение миллионов команд INSERT, заполненных данными


Это да - не вариант.
10 сен 13, 17:04    [14821556]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
impala67
Member

Откуда:
Сообщений: 8
Andrey Sribnyak
Репликацией? :)

http://blog.hagander.net/archives/103-Replicating-from-MS-SQL-Server-to-PostgreSQL.html


Спасибо, не думал, что это возможно.
10 сен 13, 17:15    [14821645]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
impala67
Member

Откуда:
Сообщений: 8
перевожу тут
ТС под "скриптами" имел в виду получение миллионов команд INSERT, заполненных данными


Да-да, именно это и имел в виду :)
10 сен 13, 17:15    [14821655]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
impala67
Member

Откуда:
Сообщений: 8
Andrey Sribnyak
Репликацией? :)

http://blog.hagander.net/archives/103-Replicating-from-MS-SQL-Server-to-PostgreSQL.html


Так драйвер ошибки выдает. Если я правильно понял, то при репликации такая же история получается, как и при DTS I/E.
11 сен 13, 11:03    [14824689]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
COPY weather FROM
автор
You could also have used COPY to load large amounts of data from flat-text files. This is usually faster because the COPY command is optimized for this application while allowing less flexibility than INSERT. An example would be:
COPY weather FROM '/home/user/weather.txt';



Посмотреть в какой формате должен быть файл,сгенерить его из MSSQL поднять в PostgreSQL
11 сен 13, 13:55    [14826098]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
Iceberg1985
Member

Откуда: Кыргызстан
Сообщений: 152
какие успехи в миграции с MS SQL в PostgreSQL?
3 фев 14, 12:13    [15509349]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
Winnipuh
Member [заблокирован]

Откуда: Київ
Сообщений: 10428
Maxx
COPY weather FROM
автор
You could also have used COPY to load large amounts of data from flat-text files. This is usually faster because the COPY command is optimized for this application while allowing less flexibility than INSERT. An example would be:
COPY weather FROM '/home/user/weather.txt';



Посмотреть в какой формате должен быть файл,сгенерить его из MSSQL поднять в PostgreSQL


это если разовая задача - да, если постоянно надо,то как-то не очень.
3 фев 14, 12:22    [15509415]     Ответить | Цитировать Сообщить модератору
 Re: Перенос данных их MS SQL в PostgreSQL  [new]
Winnipuh
Member [заблокирован]

Откуда: Київ
Сообщений: 10428
Andrey Sribnyak
Репликацией? :)

http://blog.hagander.net/archives/103-Replicating-from-MS-SQL-Server-to-PostgreSQL.html


Кстати, SQL Server 2008,2012 позволяет делать репликации для любых серверов, кроме SQL Server, Oracle?

Кстати, в одбц драйвере PGSQL есть ошибки.

Этот оледб провайдер умеет реплицировать. Не бесплатный.

http://www.pgoledb.com/
3 фев 14, 12:26    [15509446]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить