Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2 3      [все]
 Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Если база слишком большая и expdp продолжается больше чем сутки да и прописан compression=all, что замедляет сам процесс expdp.

Крон выставлен ежедневно в одно и тоже время.

1). Как быть в таком случае ?
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?
18 ноя 21, 09:21    [22397295]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
shane54
Member

Откуда: Frankfurt am Main
Сообщений: 360
Frequency
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?


А самому проверить и узнать ответ?
Не через cron, а просто вручную, чтоб не ждать.

Только не используйте параметр JOB_NAME, тогда Data Pump будет генерировать уникальные имена для Master Table с "_01", "_02" и тд в названии.
18 ноя 21, 10:35    [22397317]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
shane54
Frequency
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?


А самому проверить и узнать ответ?
Не через cron, а просто вручную, чтоб не ждать.

Только не используйте параметр JOB_NAME, тогда Data Pump будет генерировать уникальные имена для Master Table с "_01", "_02" и тд в названии.



Проверил спс, можно ли ускорить как-то с compression=all exdp ?

Сжатие нужно т.к. данных много а место мало на диске
18 ноя 21, 11:08    [22397337]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Параллелизм?
18 ноя 21, 11:12    [22397339]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency,

Параллелизм?



можете по конкретней буду благодарен , спс
18 ноя 21, 11:35    [22397358]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency,

Параллелизм?


For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of output dump files



допустим у меня такое условие , expdp system/pass dumpfile=test ... , (один дамп файл)

тут PARALLEL=1 ставить ?
18 ноя 21, 11:40    [22397362]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Проводить экспорт с указанием степени параллелизма:

expdp <user>/<password>@<sid> schemas=SH parallel=4 directory=DP_DIR dumpfile=sh_%U.dmp
18 ноя 21, 11:43    [22397365]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
SQL*Plus
Member

Откуда: Россия, Москва
Сообщений: 8544
Frequency
Asmodeus
Frequency,

Параллелизм?


For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of output dump files



допустим у меня такое условие , expdp system/pass dumpfile=test ... , (один дамп файл)

тут PARALLEL=1 ставить ?

Выгружайте в несколько дампфайлов.
Должно получиться быстрее.

Кроме того, если у вас экспорт может идти больше суток, тогда и дампфайл может получиться ОГРОМНЫЙ.
Оно вам нужно?

N.B. Для использования COMPRESSION=ALL требуется лицензирование опции Advanced Compression.
18 ноя 21, 11:45    [22397368]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
1). Как быть в таком случае ?
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.
18 ноя 21, 11:58    [22397379]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Понял спасибо
18 ноя 21, 12:04    [22397387]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency
1). Как быть в таком случае ?
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
18 ноя 21, 16:16    [22397572]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
Asmodeus
пропущено...
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
А какая сеть (если по сети), куда льете, сколько CPU на сервере? Ну и версию тогда уж озвучивать.

И вообще: какую задачу решаете с помощью Data Pump?
18 ноя 21, 16:38    [22397590]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency
пропущено...



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
А какая сеть (если по сети), куда льете, сколько CPU на сервере? Ну и версию тогда уж озвучивать.

И вообще: какую задачу решаете с помощью Data Pump?



1). На смонтированный диск.
2). 4 CPU , 64 RAM
3). Oracle linux 8, DB 19c
4). Кроме инрементального RMAN , ежедневный датапамп одной сxемы

Сообщение было отредактировано: 18 ноя 21, 17:09
18 ноя 21, 17:08    [22397615]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
dmdmdm
Member

Откуда: Нижний Новгород
Сообщений: 1837
ежедневный датапамп одной сxемы


Прям так критична вся схема?

Обычно требуется только часть. Expdp Query.
18 ноя 21, 17:14    [22397618]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Оракл говорит, что начинать надо с cpu_count*2 и дальше тюнить по обстоятельствам. Я предпочитаю идти "снизу" (особенно, если параллельно с дампом еще какие-то работы могут быть). Следует учитывать, что экспорт LOB-сегментов не параллелится, минимальной гранулой для datapump является таблица (секция/подсекция, если таблица секционирована). Если в схеме есть несколько больших таблиц, то возможно лучшим способом будет дампить их отдельными задачами.

Как пример: в 4 потока 2,5 ТВ БД с LOB'ами по 1 Gb/sec сети утаскивается за 12 часов. Долговато, но народ устраивает.

P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?
P.P.S: а для чего потом этот дамп используется? Рядом полежать? :)

Сообщение было отредактировано: 18 ноя 21, 17:32
18 ноя 21, 17:29    [22397628]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus


P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?


То есть 12 часов меня устроит на 800 гигов с 4 параллелизмом.

lscpu 

Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              4
On-line CPU(s) list: 0-3
Thread(s) per core:  1
Core(s) per socket:  1
Socket(s):           4
NUMA node(s):        1



Я выставил parallel=4 или все таки 3 хватит , то есть этот процесс идет на 2-ом ноде

Сообщение было отредактировано: 18 ноя 21, 18:09
18 ноя 21, 18:03    [22397649]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus


P.P.S: а для чего потом этот дамп используется? Рядом полежать? :)



Ежедневный full бэкап кроме RMAN, на стороннний смонтированный диск в целях страховки
18 ноя 21, 18:07    [22397652]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
.

Сообщение было отредактировано: 18 ноя 21, 18:08
18 ноя 21, 18:08    [22397653]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
Asmodeus


P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?


То есть 12 часов меня устроит на 800 гигов с 4 параллелизмом.

lscpu 

Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              4
On-line CPU(s) list: 0-3
Thread(s) per core:  1
Core(s) per socket:  1
Socket(s):           4
NUMA node(s):        1

Судя по виду, какая-то виртуализация.

Frequency
Я выставил parallel=4
Я бы даже начал с двух. Не забудьте про dumpfile=dump_%U.dmp, ибо
For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of dump files.
18 ноя 21, 18:09    [22397654]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus,

Да вы правы виртуализация
18 ноя 21, 18:10    [22397655]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Наверно начните с двух, т.к. не понятно, какие свойства у подмонтированного диска (может стать узким местом).
18 ноя 21, 18:25    [22397663]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
SY
Member

Откуда: Middlebury, CT USA
Сообщений: 10337
Frequency

Крон выставлен ежедневно в одно и тоже время.


А что за необходимость в ежедневном expdp? Да и смысл он имеет только при flashback_time/flashback_scn что само по себе замедляет экспорт (и возможно существенно).

SY.
18 ноя 21, 19:18    [22397678]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
shane54
Member

Откуда: Frankfurt am Main
Сообщений: 360
Frequency
Ежедневный full бэкап кроме RMAN, на стороннний смонтированный диск в целях страховки


Т.е. Вы как бы RMAN'у не доверяете? Может лучше тогда просто в ежедневный скрипт бекапа добавить CHECK LOGICAL, или RESTORE PREVIEW / VALIDATE, чтобы "перепроверять" что там RMAN набекапил?

Возвращаясь к теме - так в этой схеме идёт ежедневная разработка, или это таки Production? Просто 800 ГБ, и "всё нужное" немного смущает. Вряд ли на Prod системе допустим экспорт, длящийся сутки. К тому же, как выше заметили, если Вы делаете консистентный экспорт (а Вы же делаете?). Т.е. экспорт с FLASHBACK_TIME=SYSTIMESTAMP, правда? (иначе зачем это все..?). Представьте нагрузку на Undo в течение этих суток, я к этому.

Если разработка - обычно для "страховки" хватает делать экспорт METADATA_ONLY, чтобы сохранять всю структуру системы. Ну и какие-то конфигурационные/важные таблицы, список которых обычно известен.

А если Prod - как уже предлагалось выше, лучше "вложить" час времени, посидеть / подумать и разделить систему (таблицы) на статические и обновляемые. И исключить хотя бы топ 5 или 10 самых больших. И написать в файл параметров экспорта простыню QUERY запросов (и/или INCLUDE/EXCLUDE) на список реально нужных таблиц. А если есть нужные/большие таблицы - отсекать в них только свежие данные, фильтровать их по какому-то признаку (каждую таблицу можно фильтровать отдельно по своему признаку), чтобы только свежие/новые данные экспортировать. Можно даже ссылаться друг на друга в QUERY блоке, можно подзапросы делать - в общем, там очень много можно накрутить. Но это того стОит, потому что экспорт можно действительно очень сильно оптимизировать по времени (ну и по размеру конечно). Главное только "know your data" - все это получится, если Вы владеете знаниями о хранимых данных в таблицах, как они организованы, ссылаются друг на друга и тд.
18 ноя 21, 21:29    [22397695]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
shane54,

Скажите пжт вы бы мне очень помогли, нагрузка на Undo с flashback_time или без ? И сильно ли будет замедлять сам экспорт данный параметр ? Спасибо

Сообщение было отредактировано: 18 ноя 21, 23:41
18 ноя 21, 23:40    [22397747]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
Скажите пжт вы бы мне очень помогли, нагрузка на Undo с flashback_time или без ?
С flashback_time при недостаточности undo возможно выпадение "snapshot too old". Т.е. в целом нагрузка на систему подрастет.
Frequency
И сильно ли будет замедлять сам экспорт данный параметр ? Спасибо
Зависит от объема изменений на источнике и необходимости реконструкции данных на момент flashback_time. Не ускорит - это точно.

З.Ы. Привели бы уже скрипт выполнения expdp с файлом параметров (если используется).

З.З.Ы. На почитать.

Сообщение было отредактировано: 19 ноя 21, 09:43
19 ноя 21, 09:39    [22397793]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
SY
Frequency

Крон выставлен ежедневно в одно и тоже время.


А что за необходимость в ежедневном expdp? Да и смысл он имеет только при flashback_time/flashback_scn что само по себе замедляет экспорт (и возможно существенно).

SY.



FLASHBACK_TIME=SYSTIMESTAMP , означает что данные экспорта будут на момент SYSTIMESTAMP , что после в дамп не запишутся ?
19 ноя 21, 09:43    [22397794]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency

FLASHBACK_TIME=SYSTIMESTAMP , означает что данные экспорта будут на момент SYSTIMESTAMP , что после в дамп не запишутся ?
В этом и смысл: дамп будет согласован на момент времени SYSTIMESTAMP. Т.е. не будет ситуации, когда после импорта окажется, что, например, деньги переводят на несуществующую карточку.
19 ноя 21, 09:46    [22397798]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
[quot Asmodeus#22397793]
Frequency


З.Ы. Привели бы уже скрипт выполнения expdp с файлом параметров (если используется).[/url]



expdp SYSTEM/pass schemas=SCHEMA_1, SCHEMA_2 compression=all parallel=2 encryption_password=pass flashback_time=systimestamp directory=dump_dir logfile=logfile.log dumpfile=dumpfile%U.dmp
19 ноя 21, 09:46    [22397799]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
expdp SYSTEM/pass schemas=SCHEMA_1, SCHEMA_2 compression=all parallel=2 encryption_password=pass flashback_time=systimestamp directory=dump_dir logfile=logfile.log dumpfile=dumpfile%U.dmp

Еще и шифрование... Все так плохо?

Добавьте
COMPRESSION_ALGORITHM=MEDIUM METRICS=YES LOGTIME=ALL

Последние 2 параметра - для повышения информативности логов.
19 ноя 21, 10:00    [22397809]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
[quot Asmodeus#22397798]
Frequency
.


По вашему опыту, я пока что не запускал сам скрипт. У меня UNDO 32 гб я так понял не зватит для 800 ГБ экпорта ?
19 ноя 21, 10:01    [22397811]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
По вашему опыту, я пока что не запускал сам скрипт. У меня UNDO 32 гб я так понял не зватит для 800 ГБ экпорта ?
Эти вещи (размер БД/схем и размер UNDO) напрямую не связаны. Покажите
SQL> show parameter undo

SQL> select retention from dba_tablespaces where contents = 'UNDO';
19 ноя 21, 10:33    [22397835]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency
По вашему опыту, я пока что не запускал сам скрипт. У меня UNDO 32 гб я так понял не зватит для 800 ГБ экпорта ?
Эти вещи (размер БД/схем и размер UNDO) напрямую не связаны. Покажите
SQL> show parameter undo

SQL> select retention from dba_tablespaces where contents = 'UNDO';




SQL> show parameter undo;

NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
temp_undo_enabled boolean FALSE
undo_management string AUTO
undo_retention integer 25000
undo_tablespace string NODEDB2_UNDO
SQL> select retention from dba_tablespaces where contents = 'UNDO';

RETENTION
-----------
NOGUARANTEE
NOGUARANTEE

Сообщение было отредактировано: 19 ноя 21, 10:44
19 ноя 21, 10:38    [22397836]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
SQL*Plus
Member

Откуда: Россия, Москва
Сообщений: 8544
[quot Frequency#22397799]
Asmodeus

expdp SYSTEM/pass schemas=SCHEMA_1, SCHEMA_2 compression=all parallel=2 encryption_password=pass flashback_time=systimestamp directory=dump_dir logfile=logfile.log dumpfile=dumpfile%U.dmp

Использование шифрования файла экспорта (DataPump Export File encryption) требует лицензирования опции Advanced Security.

См. также N.B. здесь 22397368

Сообщение было отредактировано: 19 ноя 21, 11:14
19 ноя 21, 11:11    [22397855]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
[quot SQL*Plus#22397855]
Frequency
пропущено...

Использование шифрования файла экспорта (DataPump Export File encryption) требует лицензирования опции Advanced Security.

См. также N.B. здесь 22397368



лицензия есть , спасибо
19 ноя 21, 11:17    [22397858]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
SQL*Plus
Member

Откуда: Россия, Москва
Сообщений: 8544
Frequency
лицензия есть , спасибо

Вскрытие Аудит покажет. :-)
19 ноя 21, 11:21    [22397859]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
[quot SQL*Plus#22397855]
Frequency
пропущено...

Использование шифрования файла экспорта (DataPump Export File encryption) требует лицензирования опции Advanced Security.

См. также N.B. здесь 22397368



A если лицензии нет например, impdp данных потребует лицензию ?

Или что будет если лицензии не будет, чисто для интереса, ну кроме аудита )))

Сообщение было отредактировано: 19 ноя 21, 11:24
19 ноя 21, 11:23    [22397860]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Я бы начал с устанавки undo_retention в значение, не меньшее времени, которое требуется на проведение экспорта, т.е. если экспорт идет сутки - ставить собственно примерно столько (в секундах).

Оценить размер undo по статистике (это без будущего дампа, на текущей нагрузке, т.е. размер undo по статистике за 7 последних дней при установке undo_retention в 86400 (сутки)):
SQL> SELECT dbms_undo_adv.required_undo_size(86400, SYSDATE-7, SYSDATE) FROM dual;


Если RAC, то менять параметр следует на всех узлах.
19 ноя 21, 11:26    [22397862]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency,

SQL> SELECT dbms_undo_adv.required_undo_size(86400, SYSDATE-7, SYSDATE) FROM dual;



3572

Asmodeus



Примерно экспорт будет идти 13-15 часов.

Я так понял мне undo_retention=25000 хватит ?

Сообщение было отредактировано: 19 ноя 21, 11:41
19 ноя 21, 11:36    [22397866]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
SQL*Plus
Member

Откуда: Россия, Москва
Сообщений: 8544
[quot Frequency#22397860]
SQL*Plus
пропущено...

A если лицензии нет например, impdp данных потребует лицензию ?

Или что будет если лицензии не будет, чисто для интереса, ну кроме аудита )))

Программы никаких лицензий не требуют.
И это плохо.
Было бы лучше, если бы были явные включатели-выключатели опций и пакетов.
(Например, как это сделано для Diagnostics Pack и Tuning Pack с помощью параметра control_management_pack_access)

Наличия лицензий требует правообладатель - компания Oracle.
Проводником этой политики служит лицензионный аудит Oracle.

Следить за соблюдением лицензионных правил - одна из обязанностей администратора БД
Database Administrator’s Guide
A database administrator's responsibilities can include the following tasks:
. . .
• Ensuring compliance with Oracle license agreements
19 ноя 21, 11:37    [22397867]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency
Примерно экспорт будет идти 13-15 часов.

Я так понял мне undo_retention=25000 хватит ?

15 часов - это 54.000 секунд...
19 ноя 21, 11:42    [22397869]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency
Примерно экспорт будет идти 13-15 часов.

Я так понял мне undo_retention=25000 хватит ?

15 часов - это 54.000 секунд...



на 90000 выставил, напишу результат после экспорта.


Спасибо
19 ноя 21, 11:49    [22397871]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
[quot SQL*Plus#22397867]
Frequency
пропущено...

Программы никаких лицензий не требуют.
И это плохо.
Было бы лучше, если бы были явные включатели-выключатели опций и пакетов.
(Например, как это сделано для Diagnostics Pack и Tuning Pack с помощью параметра control_management_pack_access)

Наличия лицензий требует правообладатель - компания Oracle.
Проводником этой политики служит лицензионный аудит Oracle.

Следить за соблюдением лицензионных правил - одна из обязанностей администратора БД
пропущено...



Понял, спс )))
19 ноя 21, 11:55    [22397874]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Если есть поддержка, почитайте документ 1579035.1.
19 ноя 21, 12:01    [22397876]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency,

Если есть поддержка, почитайте документ 1579035.1.



К сожалению нет
19 ноя 21, 12:05    [22397880]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
flexgen
Member

Откуда: Город на песке
Сообщений: 911
Frequency

Примерно экспорт будет идти 13-15 часов.


О каком объеме данных идет речь, в гигабайтах? Что-то уж очень долго, 13-15 часов. Какие wait events наблюдаются во время работы expdp?
19 ноя 21, 21:53    [22398188]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
10 часав с сжатитем 800 гигов, на 2 параллели.

Всем спасибо, друзья.

Хорошие специалисты плохого не пожелают ))))
20 ноя 21, 08:13    [22398251]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
flexgen
Member

Откуда: Город на песке
Сообщений: 911
Frequency
10 часав с сжатитем 800 гигов, на 2 параллели.

Всем спасибо, друзья.

Хорошие специалисты плохого не пожелают ))))


800 Гб - это суммарный размер дамп файлов по окончании экспорта? Или это общий объем экспортируемых данных?
20 ноя 21, 15:08    [22398319]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Alexey Chasovnikov
Member

Откуда:
Сообщений: 151
Frequency
опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?

Зачем использовать expdp? Используйте RMan для резервного копирования и восстановления. У меня 2 базы по 1.5ТБ. RMan на них идет 5 часов (full)
22 ноя 21, 16:33    [22399179]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
BTM
Member

Откуда:
Сообщений: 154
Alexey Chasovnikov
Frequency
опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
Зачем использовать expdp? Используйте RMan для резервного копирования и восстановления. У меня 2 базы по 1.5ТБ. RMan на них идет 5 часов (full)


Frequency
Asmodeus

P.P.S: а для чего потом этот дамп используется? Рядом полежать? :)

Ежедневный full бэкап кроме RMAN, на стороннний смонтированный диск в целях страховки


И я ТС прекрасно понимаю, RMAN капризный до крайности и не такой очевидный, как старый добрый дамп...
22 ноя 21, 18:09    [22399281]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
SY
Member

Откуда: Middlebury, CT USA
Сообщений: 10337
BTM


И я ТС прекрасно понимаю, RMAN капризный до крайности и не такой очевидный, как старый добрый дамп...


И что ты будешь делать этим старым добрым дампом? Разве что у тебя скобяная лавка и потеря целого дня транзакций не проблема.

SY.
22 ноя 21, 18:17    [22399291]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
flexgen
Member

Откуда: Город на песке
Сообщений: 911
Alexey Chasovnikov
Frequency
опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?

Зачем использовать expdp? Используйте RMan для резервного копирования и восстановления. У меня 2 базы по 1.5ТБ. RMan на них идет 5 часов (full)

Ну вот представь себе ситуацию - кто-то взял и удалил статичную таблицу-справочник, без которой твоя аппликация работать не будет. Как думаешь, что быстрее и удобнее - сделать импорт этой таблицы при помощи datapump или восстановить ее из бэкапа?
22 ноя 21, 22:03    [22399451]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
SY
Member

Откуда: Middlebury, CT USA
Сообщений: 10337
[quot flexgen#22399451]
Alexey Chasovnikov
пропущено...
Ну вот представь себе ситуацию - кто-то взял и удалил статичную таблицу-справочник, без которой твоя аппликация работать не будет. Как думаешь, что быстрее и удобнее - сделать импорт этой таблицы при помощи datapump или восстановить ее из бэкапа?


Ну представил. Во-первых "кто-то" удалил указывает на бардак. Ладно, допустим это DBA по ошибке. Банально:

SQL> create table emp_test as select * from emp;

Table created.

SQL> drop table emp_test;

Table dropped.

SQL> flashback table emp_test to before drop;

Flashback complete.

SQL> select count(*) from emp_test;

  COUNT(*)
----------
        14

SQL>


А за DROP PURGE бить больно (финансово)

SY.
22 ноя 21, 22:21    [22399460]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
shane54
Member

Откуда: Frankfurt am Main
Сообщений: 360
Ну если вспомнили про FLASHBACK как средство защиты от удаления таблицы, то тогда уж и про Recycle Bin стоит упомянуть.

А если серьёзно - то справедливости для стоит упомянуть что RMAN таки умеет восстанавливать таблицу из бекапа, начиная с 12c. Как именно он это делает (пардон за капитанство, вдруг кто не знает) - создаётся (автоматически) временный экземпляр (AUXILLARY), таблица извлекается из бекапа и сохраняется в дамп файл методом Data Pump Export. И сразу же импортируется обратно в базу (тем же DP Import), причём можно указать таблице новое имя и даже импортнуть в другую схему или TBS (REMAP в общем). Т.е. можно не задевая существующую таблицу, рядом восстановить её же, на какой-то момент времени до. Но это мы уже отошли от темы удаления таблицы, этот сценарий про испорченную таблицу и как её восстановить. И потом RMAN все за собой подтирает. И последнее - фазу импорта можно и не выполнять, тогда из бекапа таблица извлечется, и останется в дампе. И вся эта радость одной командой.

И ещё есть BLOCKRECOVER, можно из бекапа чинить corrupted блоки сегментов с данными, доставая из бекапа нужные блоки, и догоняя их до нужной консистенции из архивлогов. Крутая фича, но требует EE редакции. Ну и ещё конечно PDB restore, иначе как.
23 ноя 21, 00:17    [22399480]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
kissfro
Member

Откуда:
Сообщений: 1
Спасибо!
23 ноя 21, 07:43    [22399501]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
BTM
Member

Откуда:
Сообщений: 154
SY
BTM


И я ТС прекрасно понимаю, RMAN капризный до крайности и не такой очевидный, как старый добрый дамп...


И что ты будешь делать этим старым добрым дампом? Разве что у тебя скобяная лавка и потеря целого дня транзакций не проблема.

SY.

А на этот случай у меня хотбэкап датафайлов ежедневный и все базы в архивлог режиме)).
Но мы же про крайности говорим и из дампа восстановить статичную таблицу проще и быстрее, чем из рмана, который все равно тот же датапамп использует.
23 ноя 21, 13:54    [22399675]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
SY
Member

Откуда: Middlebury, CT USA
Сообщений: 10337
BTM

Но мы же про крайности говорим и из дампа восстановить статичную таблицу проще и быстрее, чем из рмана, который все равно тот же датапамп использует.


Да почитай-ты наконец про корзину (recyclebin).

SY.
23 ноя 21, 15:07    [22399711]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Вячеслав Любомудров
Member

Откуда: Владивосток
Сообщений: 18618
Есть приложения, в требованиях у которых явно запрещена корзина
С другой стороны, часто есть килограмм тестовых клонов, из которых достаточно легко вытащить те самые "статичные справочные таблички"
Если есть место хранить (как долго?) дампы, то почему бы и нет
Тем более, что похоже, на производительность всем наплевать и можно делать консистентную копию за пол-суток/сутки продолжительностью.
Т.е. люди просто не наступили, что это охрененная нагрузка -- значит для них все нормально.
23 ноя 21, 15:47    [22399740]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
shane54
Member

Откуда: Frankfurt am Main
Сообщений: 360
А кстати, случай был. Что-то вспомнилось. Раз уж зашла речь про BLOCKRECOVER. У одного моего друга (с) случилась история, мож кому пригодится использованная тактика. Очень давно, в этом веке уже, но в первой-второй пятилетке наверно. Боевая база, и вдруг клиент звонит из другой страны, мутная история - то ли "свет моргнул" (ага, в DC), то ли firmware на массиве обновили днем, никого не предупредив. Короче темнит сильно, ну да не суть. Конкретно наша система, наша база повреждена очень "аккуратно" скажем так - одна (самая) большая таблица задета, в ней после анализа - всего 3 блока испорчено. Но система стоит, пользователи в гриде с данными за сегодня при рефреше видят ORA-600, ну и джобы которые закачивают текущие данные тоже падают с теми же симптомами. Страшный скандал, чуть ли самолёты взлетать не могут (софт для аэропортов). Жуткий цейтнот, за спиной стоят "помощники" (менеджмент), спина мокрая, протестировать или проверить что-то невозможно, реально есть 5 минут (ладно, час) чтоб все привести в чувство. База SE, наверно 11.1, тогда ещё 11.2 не появилась, как и SE2. В общем, лёгким движением руки, "на 5 минут" рядом с текущим хоумом ставится новый Oracle Home, та же версия, но ЕЕ редакция. Открывается база из нового Home и через BLOCKRECOVER чинится задетая таблица за пару минут. Все. Открывается база старым, SE хоумом, новый деинсталлится заметая следы. Больше всего волнение что при первом старте базы из EE хоума, что-нибудь было установлено в базу или обновились какие-то флаги, что мол теперь мы ЕЕ база. Типа как когда COMPATIBLE параметр изменяешь - при первом старте (и только при первом) необратимо обновляются заголовки дата файлов и формат redo логов, и обратного пути нет (как минимум официального). Проверить то времени небыло, будь хоть пара часов - все бы протестировали. В общем, зажмурившись стартовали базу из старого SE хоума и морально ждали что сейчас вылезет "Feature not enabled" или "Option not available", или чего-то ещё в этом роде. Но пронесло. Вот такая история.
24 ноя 21, 00:40    [22399993]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
ORA-31693: Table data object "SCHEMA"."TABLENAME" failed to load/unload and is being skipped due to error:
ORA-02354: error in exporting/importing data
ORA-01555: snapshot too old: rollback segment number  with name "" too small
ORA-22924: snapshot too old



Экспорт идет 9 часов UNDO выставлен 86400.

Одна таблица не выгрузилась, в таблице есть лоб


select owner,table_name, segment_name, pctversion, retention from dba_lobs where table_name in ('TABLE_NAME');



OWNER	TABLE_NAME	SEGMENT_NAME	PCTVERSION	RETENTION
SCHEMA	TABLE_N   SYS_LOB0000043243543$$	NULL	         4


Размер лоба 190ГБ.


Насколько нужно поставить PCTVERSION или RETENTION , дайте совет пжт
26 ноя 21, 08:53    [22401070]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Какой тип LOB'а?

select owner,table_name, segment_name, pctversion, retention, securefile
from dba_lobs where table_name in ('TABLE_NAME');
26 ноя 21, 09:38    [22401087]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency,

Какой тип LOB'а?

 securefile


NO
26 ноя 21, 12:10    [22401181]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus,

Установил

alter table TABLE_NAME modify lob(COLUMN) (retention);
26 ноя 21, 12:12    [22401182]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Asmodeus
Member

Откуда:
Сообщений: 612
Frequency,

Тогда
"RETENTION Parameter for BasicFiles LOBs"
You cannot set the value of the RETENTION parameter explicitly. The amount of time for retention of LOB versions in determined by the UNDO_RETENTION parameter.

Дока

При изменении undo_retention на уровне БД, значение retention для LOB не меняется автоматически и надо менять руками:
SQL> alter table TABLE_NAME modify lob (LOB_COLUMN) (retention);

UNDO для LOB'ов располагается в самих LOB-сегментах, поэтому следует ожидать роста его (сегмента) размера, а также размера и времени осуществления дампа.

PCTVERSION надо подбирать по месту, основываясь на шаблонах использования ("know your data").
26 ноя 21, 12:35    [22401205]     Ответить | Цитировать Сообщить модератору
 Re: Из серии странных вопросов про expdp  [new]
Frequency
Member

Откуда:
Сообщений: 278
Asmodeus
Frequency,

Тогда
"RETENTION Parameter for BasicFiles LOBs"
You cannot set the value of the RETENTION parameter explicitly. The amount of time for retention of LOB versions in determined by the UNDO_RETENTION parameter.

Дока

При изменении undo_retention на уровне БД, значение retention для LOB не меняется автоматически и надо менять руками:
SQL> alter table TABLE_NAME modify lob (LOB_COLUMN) (retention);

UNDO для LOB'ов располагается в самих LOB-сегментах, поэтому следует ожидать роста его (сегмента) размера, а также размера и времени осуществления дампа.

PCTVERSION надо подбирать по месту, основываясь на шаблонах использования ("know your data").



Понял изменил в ручную, спс

alter table TABLE_NAME modify lob (LOB_COLUMN) (retention);
26 ноя 21, 12:38    [22401209]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2 3      [все]
Все форумы / Oracle Ответить