Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Использование redo для репликации  [new]
daunito
Member

Откуда:
Сообщений: 645
Есть идея использовать redo логи для репликации данных в другую субд. Можно как-нибудь определить момент когда в журналах появились записи? Какие-нибудь механизмы взаимодействия с lgwr, системные пакеты или что-нибудь еще подобное? Пока ничего толкового нагуглить не получается.
14 мар 16, 16:17    [18929177]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
определил
Guest
daunito
Можно как-нибудь определить момент когда в журналах появились записи?
Записи появились в процессе выполнения create database.
14 мар 16, 16:22    [18929204]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Alex__kK
Member

Откуда:
Сообщений: 240
daunito,

А стандартные средства почему не катят?
14 мар 16, 16:59    [18929402]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
daunito
Member

Откуда:
Сообщений: 645
репликация в postgres. Из стандартных нашел только golden gate (пока разбираюсь как это работает) и кучу каких-то trigger-based поделок, которые даже устанавливаются коряво. Если посоветуешь хороший инструмент буду благодарен
14 мар 16, 17:05    [18929462]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 9241
И Вы решили сами написать парсер REDO-log'ов ?
14 мар 16, 17:07    [18929481]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
mefman
Member

Откуда:
Сообщений: 3163
Leonid Kudryavtsev
И Вы решили сами написать парсер REDO-log'ов ?

и еще и не корявый)))
14 мар 16, 17:17    [18929552]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4917
Блог
daunito
репликация в postgres. Из стандартных нашел только golden gate (пока разбираюсь как это работает) и кучу каких-то trigger-based поделок, которые даже устанавливаются коряво. Если посоветуешь хороший инструмент буду благодарен
GoldenGate поддерживает pgSQL из коробки.
14 мар 16, 17:23    [18929609]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
daunito
Member

Откуда:
Сообщений: 645
Alexander Ryndin,

да, спасибо, уже нашел.
14 мар 16, 17:49    [18929826]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Изя Кацман
Member

Откуда: Великий Эксперимент
Сообщений: 2019
daunito
репликация в postgres. Из стандартных нашел только golden gate (пока разбираюсь как это работает) и кучу каких-то trigger-based поделок, которые даже устанавливаются коряво. Если посоветуешь хороший инструмент буду благодарен
Камрад daunito, посмотри
Dbvisit Replicate for real-time Oracle database replication
http://www.dbvisit.com/
14 мар 16, 18:09    [18929970]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
daunito
Member

Откуда:
Сообщений: 645
Изя Кацман,

с сайта DBVisit "Replicate provides Oracle to Oracle, MySQL and Microsoft SQL Server database replication". Насколько я понимаю, постгрес не поддерживается
14 мар 16, 18:14    [18930004]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Уже сделал..
Guest
Если руки имеются trigger based репликация строится довольно быстро...льется и накатывается на "приемник" легко достигаются цифры 40-50мс на запись от источника до завершения наката на приемнике при нахождении серверов РФ-не РФ.
14 мар 16, 18:41    [18930143]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
daunito
Member

Откуда:
Сообщений: 645
Уже сделал..,

а что за база была по характеристикам? 1000 таблиц = 1000 триггеров, при высокой нагрузке как на производительности скажется? Что будет в случае отката транзакции?
14 мар 16, 18:52    [18930187]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 51758

daunito
Что будет в случае отката транзакции?

Особенно интересен случай отката не всей транзакции, а отдельного сейфпоинта.

Posted via ActualForum NNTP Server 1.5

14 мар 16, 18:54    [18930195]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Уже сделал..
Guest
Количество таблиц и триггеров что вам даст? Вы исходите от финального времени наката, которое вам требуется получить и объемом прокачиваемых данных. В продакшене, таблиц за сотню, на каждой может быть до десятка разных функциональных триггеров, меняющих разные таблицы, которые тоже могут реплицироваться. Savepoint не используем вообще (намек на родное решение goldengate понял). Пробовал goldengate,tungsten, разные поделки. Не устроило ни в одном решении общее время наката "от двери до двери" (локальную сеть в расчет не берем). Трафик 250-500 Мб/час. Может быть больше, резко возрастать нагрузка одной репликации на другие не влияет, а если влияет, то это укладывается в общее допустимые время (при работающем, хотя бы одном канале), скажем, 500мс в худшем случае...обычно не более 100мс. База нагружена, много и разного.

ORACLE, раскрой как обращаться с log_buffer! ;) ...Ах,..мечты , мечты! :)
14 мар 16, 19:24    [18930312]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
daunito
Member

Откуда:
Сообщений: 645
Пока кроме Golden Gate ничего не нашлось, но он будет стоить неадекватных денег. Может кто-нибудь еще находил какие-нибудь инструменты репликации на основе redo логов? Возможно сырые или опенсорсные для доработки напильником
14 мар 16, 20:06    [18930441]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
ora601
Member

Откуда:
Сообщений: 750
daunito
Пока кроме Golden Gate ничего не нашлось, но он будет стоить неадекватных денег. Может кто-нибудь еще находил какие-нибудь инструменты репликации на основе redo логов? Возможно сырые или опенсорсные для доработки напильником

Да много решений, от EDB или http://www.symmetricds.org/ , дешевле ETL tools типа Talend, из опенсорса триггеры или да, раскодировать redo log :)
14 мар 16, 23:10    [18931169]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4917
Блог
Уже сделал..
Если руки имеются trigger based репликация строится довольно быстро...льется и накатывается на "приемник" легко достигаются цифры 40-50мс на запись от источника до завершения наката на приемнике при нахождении серверов РФ-не РФ.
да и пофиг, что после этого база жрет в два раза больше процессоров, а любое пропадание связи останавливает работу.
14 мар 16, 23:48    [18931249]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4917
Блог
daunito
Пока кроме Golden Gate ничего не нашлось, но он будет стоить неадекватных денег. Может кто-нибудь еще находил какие-нибудь инструменты репликации на основе redo логов? Возможно сырые или опенсорсные для доработки напильником
если нагрузка серьезная, то гг. Если 20 записей в час, то можно и триггерами
14 мар 16, 23:49    [18931255]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Уже сделал...
Guest
Alexander Ryndin,
Если кривыми руками делать, то никаких процессоров не хватит...оверхед не более 5-10% от процессорного времени в пике. А так... не более 2% в среднем. Можно подумать gg святым духом передаёт данные при пропадании связи. Все доливается как связь восстанавливается прекрасно.
15 мар 16, 07:23    [18931521]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
daunito
Member

Откуда:
Сообщений: 645
Alexander Ryndin
если нагрузка серьезная, то гг. Если 20 записей в час, то можно и триггерами

Репликация должна быть не на триггерах. Это требование. Нужна 100% гарантия доставки. Как дела обстоят с откатами транзакций при репликации на триггерах я не знаю, хотя предполагаю, что плохо. ГГ стоит 17500 за процессор. С учетом количества процессоров выходит бюджет небольшой африканской страны. Смотрю как можно распарсить логи при помощи DBMS_LOGMNR. Если получится, то прикрутить накатку DML вроде бы не выглядит очень сложной задачей
15 мар 16, 12:50    [18932900]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
в доме есть взрослые?
Guest
daunito
Репликация должна быть не на триггерах. Это требование. Нужна 100% гарантия доставки.
странное требование, чтобы чего-либо не использовать, и еще более странный вывод о стопроцентности гарантий, если это чего-либо не использовать.
15 мар 16, 12:57    [18932933]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Уже сделал..
Guest
https://www.nccgroup.trust/globalassets/our-research/uk/whitepapers/oracle_forensics_part_1._dissecting_the_redo_logs.pdf
Погугли Redo Internals - Julian Dyke

Сделаешь парсер :) Поделись... Я делал, некоторое время назад, отказался от этой затеи...Работало быстро.

А начальнику своему передай, готовить дровишки на GG :) раз требование ;)
15 мар 16, 13:00    [18932946]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Уже сделал..
Guest
в доме есть взрослые?,
не мешай "начинающему", еще столько энергии ;) как в
15 мар 16, 13:04    [18932965]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4917
Блог
daunito
Alexander Ryndin
если нагрузка серьезная, то гг. Если 20 записей в час, то можно и триггерами

Репликация должна быть не на триггерах. Это требование. Нужна 100% гарантия доставки. Как дела обстоят с откатами транзакций при репликации на триггерах я не знаю, хотя предполагаю, что плохо. ГГ стоит 17500 за процессор. С учетом количества процессоров выходит бюджет небольшой африканской страны. Смотрю как можно распарсить логи при помощи DBMS_LOGMNR. Если получится, то прикрутить накатку DML вроде бы не выглядит очень сложной задачей
Это на первый взгляд несложная задача. Я бы не считал деньги сам. Обратитесь к Оракл - там посчитают с учетом особенностей вашей конфигурации. Это ведь ни к чему не обязывает.
15 мар 16, 13:16    [18933023]     Ответить | Цитировать Сообщить модератору
 Re: Использование redo для репликации  [new]
Уже сделал..
Guest
daunito, начинай сразу диалог с вопроса как получить скидку 30-40%....мне вот свезло enterprise-ы купить таким образом

Alexander Ryndin
daunito
пропущено...

Репликация должна быть не на триггерах. Это требование. Нужна 100% гарантия доставки. Как дела обстоят с откатами транзакций при репликации на триггерах я не знаю, хотя предполагаю, что плохо. ГГ стоит 17500 за процессор. С учетом количества процессоров выходит бюджет небольшой африканской страны. Смотрю как можно распарсить логи при помощи DBMS_LOGMNR. Если получится, то прикрутить накатку DML вроде бы не выглядит очень сложной задачей
Это на первый взгляд несложная задача. Я бы не считал деньги сам. Обратитесь к Оракл - там посчитают с учетом особенностей вашей конфигурации. Это ведь ни к чему не обязывает.
15 мар 16, 13:22    [18933067]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Oracle Ответить