Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Если база слишком большая и expdp продолжается больше чем сутки да и прописан compression=all, что замедляет сам процесс expdp.

Крон выставлен ежедневно в одно и тоже время.

1). Как быть в таком случае ?
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?
18 ноя 21, 09:21    [22397295]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
shane54
Member

Откуда: Frankfurt am Main
Сообщений: 360
Frequency
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?


А самому проверить и узнать ответ?
Не через cron, а просто вручную, чтоб не ждать.

Только не используйте параметр JOB_NAME, тогда Data Pump будет генерировать уникальные имена для Master Table с "_01", "_02" и тд в названии.
18 ноя 21, 10:35    [22397317]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
shane54
Frequency
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?


А самому проверить и узнать ответ?
Не через cron, а просто вручную, чтоб не ждать.

Только не используйте параметр JOB_NAME, тогда Data Pump будет генерировать уникальные имена для Master Table с "_01", "_02" и тд в названии.



Проверил спс, можно ли ускорить как-то с compression=all exdp ?

Сжатие нужно т.к. данных много а место мало на диске
18 ноя 21, 11:08    [22397337]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Параллелизм?
18 ноя 21, 11:12    [22397339]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency,

Параллелизм?



можете по конкретней буду благодарен , спс
18 ноя 21, 11:35    [22397358]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency,

Параллелизм?


For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of output dump files



допустим у меня такое условие , expdp system/pass dumpfile=test ... , (один дамп файл)

тут PARALLEL=1 ставить ?
18 ноя 21, 11:40    [22397362]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Проводить экспорт с указанием степени параллелизма:

expdp <user>/<password>@<sid> schemas=SH parallel=4 directory=DP_DIR dumpfile=sh_%U.dmp
18 ноя 21, 11:43    [22397365]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
SQL*Plus
Member

Откуда: Россия, Москва
Сообщений: 8544
Frequency
Asmodeus
Frequency,

Параллелизм?


For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of output dump files



допустим у меня такое условие , expdp system/pass dumpfile=test ... , (один дамп файл)

тут PARALLEL=1 ставить ?

Выгружайте в несколько дампфайлов.
Должно получиться быстрее.

Кроме того, если у вас экспорт может идти больше суток, тогда и дампфайл может получиться ОГРОМНЫЙ.
Оно вам нужно?

N.B. Для использования COMPRESSION=ALL требуется лицензирование опции Advanced Compression.
18 ноя 21, 11:45    [22397368]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
1). Как быть в таком случае ?
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.
18 ноя 21, 11:58    [22397379]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Понял спасибо
18 ноя 21, 12:04    [22397387]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency
1). Как быть в таком случае ?
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
18 ноя 21, 16:16    [22397572]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
Asmodeus
пропущено...
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
А какая сеть (если по сети), куда льете, сколько CPU на сервере? Ну и версию тогда уж озвучивать.

И вообще: какую задачу решаете с помощью Data Pump?
18 ноя 21, 16:38    [22397590]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency
пропущено...



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
А какая сеть (если по сети), куда льете, сколько CPU на сервере? Ну и версию тогда уж озвучивать.

И вообще: какую задачу решаете с помощью Data Pump?



1). На смонтированный диск.
2). 4 CPU , 64 RAM
3). Oracle linux 8, DB 19c
4). Кроме инрементального RMAN , ежедневный датапамп одной сxемы

Сообщение было отредактировано: 18 ноя 21, 17:09
18 ноя 21, 17:08    [22397615]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
dmdmdm
Member

Откуда: Нижний Новгород
Сообщений: 1837
ежедневный датапамп одной сxемы


Прям так критична вся схема?

Обычно требуется только часть. Expdp Query.
18 ноя 21, 17:14    [22397618]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Оракл говорит, что начинать надо с cpu_count*2 и дальше тюнить по обстоятельствам. Я предпочитаю идти "снизу" (особенно, если параллельно с дампом еще какие-то работы могут быть). Следует учитывать, что экспорт LOB-сегментов не параллелится, минимальной гранулой для datapump является таблица (секция/подсекция, если таблица секционирована). Если в схеме есть несколько больших таблиц, то возможно лучшим способом будет дампить их отдельными задачами.

Как пример: в 4 потока 2,5 ТВ БД с LOB'ами по 1 Gb/sec сети утаскивается за 12 часов. Долговато, но народ устраивает.

P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?
P.P.S: а для чего потом этот дамп используется? Рядом полежать? :)

Сообщение было отредактировано: 18 ноя 21, 17:32
18 ноя 21, 17:29    [22397628]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus


P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?


То есть 12 часов меня устроит на 800 гигов с 4 параллелизмом.

lscpu 

Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              4
On-line CPU(s) list: 0-3
Thread(s) per core:  1
Core(s) per socket:  1
Socket(s):           4
NUMA node(s):        1



Я выставил parallel=4 или все таки 3 хватит , то есть этот процесс идет на 2-ом ноде

Сообщение было отредактировано: 18 ноя 21, 18:09
18 ноя 21, 18:03    [22397649]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus


P.P.S: а для чего потом этот дамп используется? Рядом полежать? :)



Ежедневный full бэкап кроме RMAN, на стороннний смонтированный диск в целях страховки
18 ноя 21, 18:07    [22397652]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
.

Сообщение было отредактировано: 18 ноя 21, 18:08
18 ноя 21, 18:08    [22397653]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
Asmodeus


P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?


То есть 12 часов меня устроит на 800 гигов с 4 параллелизмом.

lscpu 

Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              4
On-line CPU(s) list: 0-3
Thread(s) per core:  1
Core(s) per socket:  1
Socket(s):           4
NUMA node(s):        1

Судя по виду, какая-то виртуализация.

Frequency
Я выставил parallel=4
Я бы даже начал с двух. Не забудьте про dumpfile=dump_%U.dmp, ибо
For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of dump files.
18 ноя 21, 18:09    [22397654]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus,

Да вы правы виртуализация
18 ноя 21, 18:10    [22397655]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Наверно начните с двух, т.к. не понятно, какие свойства у подмонтированного диска (может стать узким местом).
18 ноя 21, 18:25    [22397663]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
SY
Member

Откуда: Middlebury, CT USA
Сообщений: 10337
Frequency

Крон выставлен ежедневно в одно и тоже время.


А что за необходимость в ежедневном expdp? Да и смысл он имеет только при flashback_time/flashback_scn что само по себе замедляет экспорт (и возможно существенно).

SY.
18 ноя 21, 19:18    [22397678]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
shane54
Member

Откуда: Frankfurt am Main
Сообщений: 360
Frequency
Ежедневный full бэкап кроме RMAN, на стороннний смонтированный диск в целях страховки


Т.е. Вы как бы RMAN'у не доверяете? Может лучше тогда просто в ежедневный скрипт бекапа добавить CHECK LOGICAL, или RESTORE PREVIEW / VALIDATE, чтобы "перепроверять" что там RMAN набекапил?

Возвращаясь к теме - так в этой схеме идёт ежедневная разработка, или это таки Production? Просто 800 ГБ, и "всё нужное" немного смущает. Вряд ли на Prod системе допустим экспорт, длящийся сутки. К тому же, как выше заметили, если Вы делаете консистентный экспорт (а Вы же делаете?). Т.е. экспорт с FLASHBACK_TIME=SYSTIMESTAMP, правда? (иначе зачем это все..?). Представьте нагрузку на Undo в течение этих суток, я к этому.

Если разработка - обычно для "страховки" хватает делать экспорт METADATA_ONLY, чтобы сохранять всю структуру системы. Ну и какие-то конфигурационные/важные таблицы, список которых обычно известен.

А если Prod - как уже предлагалось выше, лучше "вложить" час времени, посидеть / подумать и разделить систему (таблицы) на статические и обновляемые. И исключить хотя бы топ 5 или 10 самых больших. И написать в файл параметров экспорта простыню QUERY запросов (и/или INCLUDE/EXCLUDE) на список реально нужных таблиц. А если есть нужные/большие таблицы - отсекать в них только свежие данные, фильтровать их по какому-то признаку (каждую таблицу можно фильтровать отдельно по своему признаку), чтобы только свежие/новые данные экспортировать. Можно даже ссылаться друг на друга в QUERY блоке, можно подзапросы делать - в общем, там очень много можно накрутить. Но это того стОит, потому что экспорт можно действительно очень сильно оптимизировать по времени (ну и по размеру конечно). Главное только "know your data" - все это получится, если Вы владеете знаниями о хранимых данных в таблицах, как они организованы, ссылаются друг на друга и тд.
18 ноя 21, 21:29    [22397695]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
shane54,

Скажите пжт вы бы мне очень помогли, нагрузка на Undo с flashback_time или без ? И сильно ли будет замедлять сам экспорт данный параметр ? Спасибо

Сообщение было отредактировано: 18 ноя 21, 23:41
18 ноя 21, 23:40    [22397747]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
Скажите пжт вы бы мне очень помогли, нагрузка на Undo с flashback_time или без ?
С flashback_time при недостаточности undo возможно выпадение "snapshot too old". Т.е. в целом нагрузка на систему подрастет.
Frequency
И сильно ли будет замедлять сам экспорт данный параметр ? Спасибо
Зависит от объема изменений на источнике и необходимости реконструкции данных на момент flashback_time. Не ускорит - это точно.

З.Ы. Привели бы уже скрипт выполнения expdp с файлом параметров (если используется).

З.З.Ы. На почитать.

Сообщение было отредактировано: 19 ноя 21, 09:43
19 ноя 21, 09:39    [22397793]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Oracle Ответить