Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Экспорт данных из MySQL  [new]
kalimba
Member

Откуда:
Сообщений: 297
Здравствуйте, посоветуйте пожалуйста способы экспорта данных из MySQL в MS SQL.
11 дек 12, 17:21    [13614303]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
Линкед сервер, SSIS, текстовые файлы..... какой больше нравится тот и берите
11 дек 12, 17:22    [13614315]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
kalimba
Member

Откуда:
Сообщений: 297
Maxx
Линкед сервер, SSIS, текстовые файлы..... какой больше нравится тот и берите
Линкедом не очень удобно, т.к. надо писать через OPENQUERY(). SSIS получилось долговато. Есть какой-то способ использовать BULK INSERT?
11 дек 12, 17:24    [13614340]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
kalimba
BULK INSERT

последний из перечисленых
11 дек 12, 17:25    [13614355]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
kalimba
Member

Откуда:
Сообщений: 297
Maxx
kalimba
BULK INSERT

последний из перечисленых
То есть выгружать через OPENQUERY() в файл и потом делать BULK INSERT из файла?
11 дек 12, 17:26    [13614364]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
kalimba,

ну если больше нечем занться -то можно и так
Но моя думать из мускула выгрузить в текстовик -тоже должен быть вариант,а потом его уже поднимать через булк инсерт
У вас одноразовая задача или на постоянной основе ?
11 дек 12, 17:29    [13614391]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
kalimba
Member

Откуда:
Сообщений: 297
Maxx,

На постоянной. По сути нужно получить реплику MySQL базы (300гб+), но нужны только часть таблиц.
11 дек 12, 17:31    [13614421]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Maxx
Member [скрыт]

Откуда:
Сообщений: 24290
kalimba
MySQL базы (300гб+)


вам нужен хорошо настроеный ETL процесс
и при таких обьемах - ИМХО,
MySQL -> *.txt,*.csv......
*.txt,*.csv...... - > MSSQL

Только еесно выгружать надо тоже какой нить улилитой от MySQL которая умееет выгрузать в текстовые фалйлы,думаю такая есть с составе MySQL
11 дек 12, 17:37    [13614477]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
kalimba
Member

Откуда:
Сообщений: 297
Maxx
вам нужен хорошо настроеный ETL процесс
и при таких обьемах - ИМХО,
MySQL -> *.txt,*.csv......
*.txt,*.csv...... - > MSSQL

Только еесно выгружать надо тоже какой нить улилитой от MySQL которая умееет выгрузать в текстовые фалйлы,думаю такая есть с составе MySQL
Ну собственно я этим и занимаюсь : ). А никто не подскажет, Linked Server + OleDB/ADO.NET это реально? Для SSIS всё кошерно (.NET/Connector), а вот с линкедом я так понял беда.
12 дек 12, 14:07    [13619158]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
trew
Member

Откуда: Москва
Сообщений: 2646
kalimba,

5526093
12 дек 12, 14:22    [13619308]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
kalimba
Member

Откуда:
Сообщений: 297
trew
kalimba,

5526093
Спасибо, но ODBC не катит...
12 дек 12, 14:23    [13619319]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
trew
Member

Откуда: Москва
Сообщений: 2646
kalimba,

How-To: MySQL as a linked server in MS SQL Server ссылка
12 дек 12, 14:26    [13619343]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
kalimba
Member

Откуда:
Сообщений: 297
trew
kalimba,

How-To: MySQL as a linked server in MS SQL Server ссылка
Это тоже через ODBC.
12 дек 12, 14:49    [13619540]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
HandKot
Member

Откуда: Sergiev Posad
Сообщений: 3104
MySQL OLE DB Provider
и там же

MySQL As Linked Server
12 дек 12, 15:49    [13620118]     Ответить | Цитировать Сообщить модератору
Между сообщениями интервал более 1 года.
 Re: Экспорт данных из MySQL  [new]
Хомо хамстер
Guest
Maxx
kalimba
MySQL базы (300гб+)


вам нужен хорошо настроеный ETL процесс
и при таких обьемах - ИМХО,
MySQL -> *.txt,*.csv......
*.txt,*.csv...... - > MSSQL

Только еесно выгружать надо тоже какой нить улилитой от MySQL которая умееет выгрузать в текстовые фалйлы,думаю такая есть с составе MySQL


А чем плох линкед сервер при таких объемах?
23 дек 15, 16:25    [18600172]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Хомо хамстер
Guest
Пардон, не заметил, что тема трехлетней давности. Но, может, кто-нибудь подскажет.
23 дек 15, 16:28    [18600188]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 9156
Хомо хамстер,

отвечу вопросом - т.е. Вы даже представить не можете все риски, которые возникнут при таком способе копирования? Или боитесь себе в этом признаться?
23 дек 15, 16:32    [18600231]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Хомо хамстер
Guest
Владислав Колосов,

спасибо за ответ, некоторые могу, некоторые, наверное, нет. Могу еще предположить, что кроме рисков, связанных с потерей данных, возможны траблы с производительностью. Не сориентируете?


Что быстрее - взять текстовый файл с удаленного сервера, и залить его bulk insert-ом, или перекачать те же данные через связанный сервер?
23 дек 15, 16:42    [18600300]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Хомо хамстер
Guest
Если в таблице, которую нужно перенести с mysql на mssql, допустим, 10 миллионов строк.
23 дек 15, 16:47    [18600334]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 9156
bulk insert сократит потери времени, но это устаревший инструмент. Попробуйте использовать SSIS.
23 дек 15, 18:50    [18600831]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Хомо хамстер
Guest
Владислав Колосов
bulk insert сократит потери времени, но это устаревший инструмент. Попробуйте использовать SSIS.


Спасибо, что если задача не разовая? Т.е. есть блудь, которая пишет некий условный лог в базу данных MySQL. И есть база данных MS SQL, где этот лог должен храниться и обрабатываться. Данных относительно много, до неск-ких миллионов записей за день, и по мере того, как лог пополняется, новые записи нужно передавать в базу данных MS SQL. Т.е. нужна репликация данных, но готовых решений я что-то с ходу не нашел, по форумам одни вопросы. Чем может быть проще/изящнее решить подобную задачу: средствами SSIS, или "вручную", скриптами на T-SQL?
23 дек 15, 19:18    [18600977]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
mishanya3624
Member

Откуда:
Сообщений: 796
Владислав Колосов,

хоть через настроенный linked server, хоть через OPENROWSET одинаково возможны потери данных при большом объеме данных, ибо все через linked идет, только OPENROWSET одноразовый метод коннекта,так?
23 дек 15, 23:16    [18601918]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 9156
mishanya3624,

OPENROWSET также через связанный сервер может работать. Надо оценивать потери времени в случае возникновения ошибок и выбирать способ загрузки.
24 дек 15, 11:05    [18603168]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Хомо хамстер
Guest
mishanya3624
Владислав Колосов,

хоть через настроенный linked server, хоть через OPENROWSET одинаково возможны потери данных при большом объеме данных, ибо все через linked идет, только OPENROWSET одноразовый метод коннекта


Зачем через linked ? В том-то и фишка, что текстовый файл можно просто скопировать с удаленного сервера на локальный, распарсить и выкинуть.
24 дек 15, 11:54    [18603466]     Ответить | Цитировать Сообщить модератору
 Re: Экспорт данных из MySQL  [new]
Glory
Member

Откуда:
Сообщений: 104751
mishanya3624
хоть через настроенный linked server, хоть через OPENROWSET одинаково возможны потери данных при большом объеме данных, ибо все через linked идет, только OPENROWSET одноразовый метод коннекта,так?

linked server - это всего лишь запись в системных таблицах о параметрах соединения.
А механизм в любом случае называется distributed query.

Сообщение было отредактировано: 24 дек 15, 12:12
24 дек 15, 12:08    [18603540]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить