Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Как сделать репликацию данных на Mysql в разных ДЦ  [new]
ОлегН
Member

Откуда:
Сообщений: 20
Есть три ДЦ
есть MySQL
в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух.
всего данных около 300ГБ
если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться.

т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит

чем можно такое реализовать?

у postressql есть какие-либо решения для такого?
29 авг 13, 16:43    [14772059]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54840

ОлегН
всего данных около 300ГБ

А куда делись оставшиеся 4.7 террабайта?..

У Firebird и Oracle есть средства для этого. Остальные сервера лично я бы вообще не
рассматривал.

Posted via ActualForum NNTP Server 1.5

29 авг 13, 16:58    [14772156]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
ОлегН
Member

Откуда:
Сообщений: 20
Dimitry Sibiryakov
ОлегН
всего данных около 300ГБ

А куда делись оставшиеся 4.7 террабайта?..

У Firebird и Oracle есть средства для этого. Остальные сервера лично я бы вообще не
рассматривал.


как это сделать на Firebird?
как это сделать на oracle ? сколько это будет стоить? нужно EE ?

пока только 0.3ТБ рассматривает
приоритет всё-таки к mysql, postressql

кто-нибудь работал с MySQL Cluster Carrier Grade Edition ? можно на нём такое реализовать?
29 авг 13, 17:22    [14772292]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54840

ОлегН
как это сделать на Firebird?
как это сделать на oracle ? сколько это будет стоить? нужно EE ?

IBPhoenix Replicator для обоих, Golden Gate для Oracle. EE не нужен.

Posted via ActualForum NNTP Server 1.5

29 авг 13, 19:43    [14772913]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
ОлегН
Member

Откуда:
Сообщений: 20
Dimitry Sibiryakov
ОлегН
как это сделать на Firebird?
как это сделать на oracle ? сколько это будет стоить? нужно EE ?

IBPhoenix Replicator для обоих, Golden Gate для Oracle. EE не нужен.

спасибо, посмотрю на них.

А разве Firebird не для небольших проектов?


Хотелось бы ещё услышать, кто делал подобное на mysql или posgre
30 авг 13, 10:04    [14774396]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54840

ОлегН
А разве Firebird не для небольших проектов?

Ваш проект и есть небольшой.

Posted via ActualForum NNTP Server 1.5

30 авг 13, 14:15    [14776240]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
ОлегН
Есть три ДЦ
есть MySQL
в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух.
всего данных около 300ГБ
если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться.

т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит

чем можно такое реализовать?

у postressql есть какие-либо решения для такого?
Продолжаете использовать MySQL и ставить GG от Oracle. Технология опробованная и есть примеры использования именно в таком варианте как у вас. Базу данных Oracle DB EE покупать для этого не надо.
30 авг 13, 15:23    [14776694]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
OYM
Member

Откуда:
Сообщений: 236
ОлегН
Есть три ДЦ
есть MySQL
в каждую базу пишется данные из локального ДЦ, и локальный ДЦ с ним работает. Но данные в нём должны быть и из других двух.
всего данных около 300ГБ
если падает канал, то локальная БД должна быть доступна, при возобновлении канала данные реплицироваться.

т.е. синхронная репликация нам не подходит. galera не подходит, mmm не подходит

чем можно такое реализовать?

у postressql есть какие-либо решения для такого?


MS SQL Server имеет функцию mirroring.
30 авг 13, 15:51    [14776881]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54840

OYM
MS SQL Server имеет функцию mirroring.

И она работает в мультимастер режиме?..

Posted via ActualForum NNTP Server 1.5

30 авг 13, 16:04    [14776965]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
lookat
Member

Откуда:
Сообщений: 135
ОлегН,

nuodb.com
см. у них на сайте geo-distribution.

Удачи
30 авг 13, 23:47    [14778817]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Dimitry Sibiryakov
И она работает в мультимастер режиме?..


Peer-to-Peer Transactional Replication подойдет? http://technet.microsoft.com/ru-ru/library/ms151196.aspx

ЗЫ. Правда, боюсь у ТС денег не хватит для этого решения.

ЗЫЗЫ. Странно, как-то, ТС рассуждать о трех датацентрах и искать решение из области наколенных поделок.
31 авг 13, 17:05    [14779838]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
pkarklin
Dimitry Sibiryakov
И она работает в мультимастер режиме?..


Peer-to-Peer Transactional Replication подойдет? http://technet.microsoft.com/ru-ru/library/ms151196.aspx
Фигня какая-то :)
http://technet.microsoft.com/ru-ru/library/ms151196.aspx
Хотя одноранговая репликация позволяет масштабировать операции чтения, производительность операций записи для топологии такая же, как для одного узла.
31 авг 13, 18:35    [14779960]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54840

Alexander Ryndin
Фигня какая-то :)

Это не фигня, это объективная реальность. Просто обычно о ней не упоминают.
На каждый из узлов льются изменения со всех остальных. Если общий поток изменений превысит
входную пропускную способность узла - он захлебнётся.

Posted via ActualForum NNTP Server 1.5

31 авг 13, 19:32    [14780075]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
Dimitry Sibiryakov
Alexander Ryndin
Фигня какая-то :)

Это не фигня, это объективная реальность. Просто обычно о ней не упоминают.
На каждый из узлов льются изменения со всех остальных. Если общий поток изменений превысит
входную пропускную способность узла - он захлебнётся.
:) Это не всегда так. В GoldenGate есть параметр BATCHSQL, который:
1) делает более крупные транзакции (падает нагрузка на Log Writer)
2) группирует одиночные операции в операции с массивами
31 авг 13, 20:11    [14780135]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54840

Alexander Ryndin
В GoldenGate есть параметр BATCHSQL, который:

....повышает плотность потока реплицируемых данных, но не более того.

Если одиночная нода с оптимально написанного приложения способна всосать Х гигабайт в
секунду, то кластер из любого числа таких нод в штатном режиме будет способен всосать всё
те же Х гигабайт в секунду. Дальше он либо ограничит входной поток тормозами, либо из
штатного режима выйдет в надежде, что когда-нибудь в него вернётся после того как входной
поток упадёт. Нет серебряной пули.

Posted via ActualForum NNTP Server 1.5

31 авг 13, 20:21    [14780150]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Alexander Ryndin,

Вы можете привести примеры, баллансирующите операции записи?
31 авг 13, 20:36    [14780171]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
Dimitry Sibiryakov
Alexander Ryndin
В GoldenGate есть параметр BATCHSQL, который:

....повышает плотность потока реплицируемых данных, но не более того.

Если одиночная нода с оптимально написанного приложения способна всосать Х гигабайт в
секунду, то кластер из любого числа таких нод в штатном режиме будет способен всосать всё
те же Х гигабайт в секунду. Дальше он либо ограничит входной поток тормозами, либо из
штатного режима выйдет в надежде, что когда-нибудь в него вернётся после того как входной
поток упадёт. Нет серебряной пули.
Серебряной пули не существует, но выполнение пакетных DML вместо одиночных DML повышает пропускную способность сервера для большинства OLTP-приложений. Это факт. Иначе какой смысл в пакетных операциях? :)
Естественно, масштабировать записей репликацией не получится бесконечно.
31 авг 13, 20:40    [14780178]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
pkarklin
Alexander Ryndin,

Вы можете привести примеры, баллансирующите операции записи?
Да. Знаю о случае 16-way репликации в одном большом нероссийском телекоме.
31 авг 13, 20:43    [14780186]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Alexander Ryndin
пакетных DML вместо одиночных DML повышает пропускную способность сервера


Терминалогию озвучьте в части "пакетных DML".
31 авг 13, 20:44    [14780188]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Alexander Ryndin
Да. Знаю о случае 16-way репликации в одном большом нероссийском телекоме.


Пенсионер на приеме у врача жалуется на снижение потенции.
Врач:- А сколько вам лет?
Пациент:- 72. Ну и что. А вот у меня приятель, ему 74, так вот он говорит ...
Врач:- И вы. И вы говорите.
31 авг 13, 20:47    [14780191]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
pkarklin
Alexander Ryndin
пакетных DML вместо одиночных DML повышает пропускную способность сервера


Терминалогию озвучьте в части "пакетных DML".
Вот для Java http://docs.oracle.com/cd/B28359_01/java.111/b31224/oraperf.htm
31 авг 13, 21:01    [14780202]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Alexander Ryndin,

Причем здесь Java, если мы говорим о репликации силами СУБД?!

Задача простая. На одной из нод выполнено 10 000 инструкций UPDATE. Упакетируйте их для трансляции на остальные 15 нод.
31 авг 13, 21:08    [14780211]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
pkarklin
Alexander Ryndin
Да. Знаю о случае 16-way репликации в одном большом нероссийском телекоме.


Пенсионер на приеме у врача жалуется на снижение потенции.
Врач:- А сколько вам лет?
Пациент:- 72. Ну и что. А вот у меня приятель, ему 74, так вот он говорит ...
Врач:- И вы. И вы говорите.
Хаха.Смешно.
Вот еще пример с 4-way репликацией.. Кстати, для MSSQL. С целью отказоустойчивости и масштабируемости.
31 авг 13, 21:10    [14780212]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Alexander Ryndin,

А можно попросить маркетинговый булшит здесь больше не постить?! Из "опыта работы" пример "под рукой" есть?
31 авг 13, 21:13    [14780214]     Ответить | Цитировать Сообщить модератору
 Re: Как сделать репликацию данных на Mysql в разных ДЦ  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
pkarklin
Alexander Ryndin,

Причем здесь Java, если мы говорим о репликации силами СУБД?!

Задача простая. На одной из нод выполнено 10 000 инструкций UPDATE. Упакетируйте их для трансляции на остальные 15 нод.
Ссылку на Java я приведел исключительно для целей "Терминалогию озвучьте в части "пакетных DML".
И вы все-таки почитайте ссылку про Java, а то получается "не читал, но осуждаю".

Ну и да, что касается GoldenGate, то читайте вот здесь на странице 129 о параметре BATCHSQL.
31 авг 13, 21:18    [14780223]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить