Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Трансфер данных SQL Server -> Oracle/Kafka/SQL Server  [new]
dartaen
Member

Откуда:
Сообщений: 12
Добрый день,

в некоторой перспективе маячит задача передачи пары-тройки баз (суммарно 150+ таблиц) с SQL Server на какую-то другую платформу и происходить это должно раз в неделю/месяц. Причём база, куда эти данные будут приземляться пока не определена. Есть ли какое-то более-менее универсальное средство которое может пачкой переливать данные между разными базами? Типа возьми там всю базу минус пару таблиц и залей туда. Можно использовать Kafka Connect, но мне этот инструмент не очень нравится тем, что скорее всего придётся делать каждую таблицу отдельно а это геморно, долго и траблшутить сложно. Подскажите, пожалуйста, если конечно есть такие инструменты. Спасибо!
6 июн 21, 12:05    [22331874]     Ответить | Цитировать Сообщить модератору
 Re: Трансфер данных SQL Server -> Oracle/Kafka/SQL Server  [new]
vikkiv
Member

Откуда: EU
Сообщений: 2955
dartaen,

Известный способ уже не первое десятилетие:
1) Таблицы из источника по отдельности по файлам (формат естественно в зависимости от.. , csv, parquet, orc и т.д.) / партиционированно для тяжелых таблиц
2) Из файлов в точку назначения и назначением типов
3) По необходимости настройка всяких дополнительных фишек (identity, pk/fk, и пр.), хотя для самих данных (в том виде как поставлена задача) этот шаг формально не обязателен.
4) Проверка
всё

из инструментов если на поверхности то: ADF, Spark, родные мастера импорта/экспорта от поставщиков ядра базы

Сообщение было отредактировано: 6 июн 21, 13:07
6 июн 21, 13:08    [22331893]     Ответить | Цитировать Сообщить модератору
 Re: Трансфер данных SQL Server -> Oracle/Kafka/SQL Server  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35143
Блог
Т.к. за etl-процесс должна отвечать сторона-получатель (исходя из заинтересованности), то и выбор etl-средства должен быть ее правом. Конечно, если в компании нет архитектурно утвержденного etl-средства
6 июн 21, 17:11    [22331940]     Ответить | Цитировать Сообщить модератору
 Re: Трансфер данных SQL Server -> Oracle/Kafka/SQL Server  [new]
SERG1257
Member

Откуда:
Сообщений: 2863
dartaen
суммарно 150+ таблиц
Это не тот параметр которого стоит боятся. Каков объем данных? Ибо если объем большой то придется делать и передавать дельту.
dartaen
Причём база, куда эти данные будут приземляться пока не определена.
В чем суть вопроса тогда?
dartaen
придётся делать каждую таблицу отдельно
В любом инструменте придется делать каждую таблицу отдельно.
Всю базу, это только если с SQL Server на SQL Server и делать log shipping
6 июн 21, 17:14    [22331942]     Ответить | Цитировать Сообщить модератору
 Re: Трансфер данных SQL Server -> Oracle/Kafka/SQL Server  [new]
andy st
Member

Откуда:
Сообщений: 820
Критик
Т.к. за etl-процесс должна отвечать сторона-получатель (исходя из заинтересованности), то и выбор etl-средства должен быть ее правом

Это до момента, пока сторона-получатель не начинает выдвигать требования по изменению структуры бд-источника ввиду ограниченности/ущербности выбранного средства ETL.
6 июн 21, 17:47    [22331954]     Ответить | Цитировать Сообщить модератору
 Re: Трансфер данных SQL Server -> Oracle/Kafka/SQL Server  [new]
andy st
Member

Откуда:
Сообщений: 820
dartaen,
После осознания того, что в общем случае придётся разбираться отдельно с каждой таблицей и связями между ними, с преобразованием типов данных и при наличии oledb или odbc драйверов к целевой бд можно начать медитации с insert ... select с использованием линкованных серверов (если объемы не очень большие), дальше можно вспомнить что в комплекте с SQL Server идёт такая штука как SQL Server Integration Services. Она, правда, не "модно-стильно-молодежно", а больше "кроваво-энтерпрайзово", но всё равно очень быстро и качественно решает поставленные ей задачи.
Самым неприятным моментом во всей этой "передаче пары-тройки баз" будет являться возможность DDL-изменений в этих базах (развивающиеся системы, обновления коробочных продуктов). В этом случае можно попробовать отморозиться вариантом восстановления воскресного бекапа на dev-сервере и предоставления заказчику полного доступа (в стиле мема с собакой и двумя собачками-игрушками). Если такое не проканает, то одной из этих двух игрушечных собачек в меме будете Вы.
6 июн 21, 18:35    [22331960]     Ответить | Цитировать Сообщить модератору
 Re: Трансфер данных SQL Server -> Oracle/Kafka/SQL Server  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35143
Блог
andy st
Критик
Т.к. за etl-процесс должна отвечать сторона-получатель (исходя из заинтересованности), то и выбор etl-средства должен быть ее правом

Это до момента, пока сторона-получатель не начинает выдвигать требования по изменению структуры бд-источника ввиду ограниченности/ущербности выбранного средства ETL.


Это какое-то фантастическое предположение )
6 июн 21, 20:56    [22331984]     Ответить | Цитировать Сообщить модератору
 Re: Трансфер данных SQL Server -> Oracle/Kafka/SQL Server  [new]
andy st
Member

Откуда:
Сообщений: 820
Критик
andy st

Это до момента, пока сторона-получатель не начинает выдвигать требования по изменению структуры бд-источника ввиду ограниченности/ущербности выбранного средства ETL.

Это какое-то фантастическое предположение )

Не менее фантастичное, чем написание своего средства etl практически с нуля при наличии уже купленного продукта.
Однако в последнее время встречаются и не такие маразмы...
6 июн 21, 22:48    [22332031]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить