Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
 Скорость работы extract в GoldenGate  [new]
GoldenGate
Guest
Как увеличить скорость работы extract в MS Sql Server?

GGSCI (EPRUSAMSD0040) 3> ADD EXTRACT extr, TRANLOG, BEGIN NOW, THREADS 5
ERROR: Invalid parameter specified for ADD EXTRACT.

без с THREADS создается, но при интенсивной нагрузке экстракт начинает отставать

ADD EXTRACT extr, TRANLOG, BEGIN NOW
ADD EXTTRAIL ./dirdat/tr, EXTRACT extr


EXTRACT extr
SOURCEDB msdb
NOTCPSOURCETIMER
TRANLOGOPTIONS MANAGESECONDARYTRUNCATIONPOINT
EXTTRAIL ./dirdat/tr
TABLE dbo.Table001;
...
TABLE dbo.Table500;
24 янв 14, 11:28    [15461506]     Ответить | Цитировать Сообщить модератору
 Re: Скорость работы extract в GoldenGate  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4917
Блог
Интенсивная нагрузка это какой объем журналов в час?
24 янв 14, 11:45    [15461629]     Ответить | Цитировать Сообщить модератору
 Re: Скорость работы extract в GoldenGate  [new]
flexgen
Member

Откуда: Город на песке
Сообщений: 808
GoldenGate
Как увеличить скорость работы extract в MS Sql Server?

GGSCI (EPRUSAMSD0040) 3> ADD EXTRACT extr, TRANLOG, BEGIN NOW, THREADS 5
ERROR: Invalid parameter specified for ADD EXTRACT.

без с THREADS создается, но при интенсивной нагрузке экстракт начинает отставать


Опция THREADS применима при наличии Oracle RAC с более чем одним инстансом.

По поводу MS SQL - смотри нагрузку на диск, где сидит transaction log файл.
Так же надо учесть что по умолчанию в MS SQL каждая транзакция автоматически завершается commit'ом, что скорости выполнения операций не увеличивает.
Если recovery model базы full то не мешает посмотреть с какой периодичностью производится бэкап transaction log файла.
Ну и в случае большого количества таблиц, а у тебя их 500, судя по
EXTRACT extr
SOURCEDB msdb
NOTCPSOURCETIMER
TRANLOGOPTIONS MANAGESECONDARYTRUNCATIONPOINT
EXTTRAIL ./dirdat/tr
TABLE dbo.Table001;
...
TABLE dbo.Table500;

то я бы посморел в сторону создания нескольких extract'ов, для каждых, скажем, 100 таблиц отдельный экстрактор. При этом надо помнить о наличии foreign keys, т.е. parent и child таблицы должны обрабатываться одним extract'ом.

З.Ы. А что у тебя в базе MSDB делают user tables? В системных базах создавать user objects не рекомендуется.
25 янв 14, 20:53    [15468574]     Ответить | Цитировать Сообщить модератору
 Re: Скорость работы extract в GoldenGate  [new]
Puschkin
Member

Откуда:
Сообщений: 18
Alexander Ryndin,

Нашел учетку.
В нормальном режиме 2,5г логов, пиковая нагрузка в 10 раз больше, нужных данных для репликации 10%
26 янв 14, 10:03    [15470174]     Ответить | Цитировать Сообщить модератору
 Re: Скорость работы extract в GoldenGate  [new]
Puschkin
Member

Откуда:
Сообщений: 18
flexgen,

Пока не вижу другого выхода, как в ручную разделять на несколько экстрактов.

>>З.Ы. А что у тебя в базе MSDB делают user tables? В системных базах создавать user objects не рекомендуется.

Не мое и повлиять не могу.
26 янв 14, 10:07    [15470179]     Ответить | Цитировать Сообщить модератору
 Re: Скорость работы extract в GoldenGate  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4917
Блог
Puschkin
Alexander Ryndin,

Нашел учетку.
В нормальном режиме 2,5г логов, пиковая нагрузка в 10 раз больше, нужных данных для репликации 10%
2,5 гб журналов в час это вообще копейки. 25 Гб тоже должны читаться без задержки.
С другой стороны все сильно зависит от скорости системы ввода/вывода и процессора.
26 янв 14, 13:22    [15470530]     Ответить | Цитировать Сообщить модератору
Все форумы / Oracle Ответить