Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
 Использует ли кто нибуть COMPRESS для таблиц ?  [new]
DimaR
Member

Откуда:
Сообщений: 1570
Oracle 10.2
Собственно хочу использовать в следующем случае:
планируется новый сторедж, хочу провернуть переход через exp/imp (если оценю, что времени хватит)

есть несколько больших OLTP таблиц, активно использующихся, но старые данные менятся не будут, и соответсвенно хочу сжать.
Кто нибуть оценивал, реально насколько возрастает нагрузка на прцессоры?

Пока в основном, все упирается в диски, опять же сжатие должно разгрузить их.
Новый сторедж вроде как побыстрее, но дисков будет в два раза меньше.
1 июл 09, 23:51    [7366152]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
wurdu
Member

Откуда: Владивосток
Сообщений: 4441
DimaR
есть несколько больших OLTP таблиц, активно использующихся, но старые данные менятся не будут, и соответсвенно хочу сжать
Т.е. старые данные можно вынести в отдельные партиции, которые затем сжать?
2 июл 09, 01:09    [7366344]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3909
DimaR
Кто нибуть оценивал, реально насколько возрастает нагрузка на прцессоры?

По моим наблюдениям процентов на 10-15 максимум. Если данных выбирается немного, то выгоди никакой, если читаешь фулсканами большие таблитцы - уже ощутимо быстрее. Если перенести таблицы в ТП с большим блоком и предварительно отсортировать данные (при условии, что избыточность данных большая) ужмется раза в 2-3.
2 июл 09, 09:08    [7366643]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3909
DimaR
Кто нибуть оценивал, реально насколько возрастает нагрузка на прцессоры?

По моим наблюдениям процентов на 10-15 максимум. Если данных выбирается немного, то выгоди никакой, если читаешь фулсканами большие таблитцы - уже ощутимо быстрее. Если перенести таблицы в ТП с большим блоком и предварительно отсортировать данные (при условии, что избыточность данных большая) ужмется раза в 2-3.
2 июл 09, 09:14    [7366658]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
skelet
Member [заблокирован]

Откуда: moskau
Сообщений: 5549
DimaR,

использую для iot )))
2 июл 09, 12:22    [7367634]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
Les
Member

Откуда: Москва
Сообщений: 438
Использовал, особого выигрыша не заметил, но после этого он ругается на ddl по этой таблице, если надо поля добавить
2 июл 09, 12:27    [7367679]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
DimaR
Member

Откуда:
Сообщений: 1570
wurdu
Т.е. старые данные можно вынести в отдельные партиции, которые затем сжать?

Зачем?
старые данные остануться сжатыми, новые будут доливаться и так,
просто перед экспортом таблицам ставлю compress

автор
(при условии, что избыточность данных большая) ужмется раза в 2-3.

На тестовом я пробовал сжимается в 2 раза, ведь и в кеше блоки будут меньше занимать
2 июл 09, 14:40    [7368642]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
Apex
Member

Откуда: Made in USSR
Сообщений: 3909
Les
Использовал, особого выигрыша не заметил, но после этого он ругается на ddl по этой таблице, если надо поля добавить

Это ограничение снято в 11-ой версии. Выигрышь будет только в том слуае, если время на чистое чтение данных превышает время другой обработки, если данный конечно вообще сожмутся, что зависит от характера самих данных
2 июл 09, 14:44    [7368674]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
Anton Demidov
Member

Откуда: Atlanta, GA
Сообщений: 1187
10.2.0.4 Linux 64bit
32k block size. DSS.
Две таблицы - рабочая и сжатая. Есть джоб, который переносит данные, старее чем 6 месяцев из первой во вторую (особенность бизнес логики - после внесения данные еще могут немного поизменяться, но потом всё). Чтение через вьюшку (UNION ALL).
Сами таблицы list-партицированные по своим признакам. Размеры - около 40 мил и 100 мил записей соответственно. Коэф. сжатия в пределах 7.
Проект пашет полтора года.
Единственно, когда пожалел о сжатии - это когда logminer на нём споткнулся.

--
Per rectum ad astrum
2 июл 09, 23:34    [7371030]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
DimaR
Member

Откуда:
Сообщений: 1570
Anton Demidov

Единственно, когда пожалел о сжатии - это когда logminer на нём споткнулся.

гм. а можно поподробнее logminer вообще их непонимает, даже то что вставлялось/менялось обычным способом и уже не сжатое или только то, что заносилось через direct?
3 июл 09, 01:05    [7371169]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
wurdu
Member

Откуда: Владивосток
Сообщений: 4441
DimaR
wurdu
Т.е. старые данные можно вынести в отдельные партиции, которые затем сжать?

Зачем?
старые данные остануться сжатыми, новые будут доливаться и так,
просто перед экспортом таблицам ставлю compress
Достаточно рискованный вариант. Надо быть 100% уверенным что на сжатых блоках не пройдут DML, a то по крайней мере < 11g вы сможете отгрести проблемы с migrated rows, как я показывал вот тут compressed. Да и экспорт-импорт тоже как-то не очень... Если хочется получить хорошее сжатие, то данные надо сортировать по правильным полям пед заливкой.
3 июл 09, 01:15    [7371183]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
Вячеслав Любомудров
Member

Откуда: Владивосток
Сообщений: 18486
Тем более, что импорт (после обычного экспорта) будет складывать строки несжатыми
3 июл 09, 03:43    [7371299]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
Anton Demidov
Member

Откуда: Atlanta, GA
Сообщений: 1187
DimaR
Anton Demidov

Единственно, когда пожалел о сжатии - это когда logminer на нём споткнулся.

гм. а можно поподробнее logminer вообще их непонимает, даже то что вставлялось/менялось обычным способом и уже не сжатое или только то, что заносилось через direct?

Он совсем не понимал записанное в сжатую таблицу. На Металинке сказали, что в 11g пофиксили.
3 июл 09, 04:07    [7371325]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
DimaR
Member

Откуда:
Сообщений: 1570
Вячеслав Любомудров
Тем более, что импорт (после обычного экспорта) будет складывать строки несжатыми


Это почему же вдруг?
и что вы подразумеваете под "обычным/необычным" экспортом


[SRC Anton Demidov]Он совсем не понимал записанное в сжатую таблицу. На Металинке сказали, что в 11g пофиксили.[/src]
А вот это надо обдумать

wurdu
Надо быть 100% уверенным что на сжатых блоках не пройдут DML

тоже буду мозговать

ну очень хочется из 800G сделать хотябы 500~600
3 июл 09, 23:27    [7376085]     Ответить | Цитировать Сообщить модератору
 Re: Использует ли кто нибуть COMPRESS для таблиц ?  [new]
Вячеслав Любомудров
Member

Откуда: Владивосток
Сообщений: 18486
DimaR
Вячеслав Любомудров
Тем более, что импорт (после обычного экспорта) будет складывать строки несжатыми


Это почему же вдруг?
По определению
Почитай, при каких операциях выполняется сжатие -- их там немного :)
DimaR
и что вы подразумеваете под "обычным/необычным" экспортом
Ну, есть еще "прямой" экспорт. Тот фигачит целиком блоками (а не записями), и если данные в блоке были сжатыми, то и при импорте блок переедет целиком со сжатыми данными. На практике, там достаточно много багов -- по крайней мере на 9i, и импорт просто ломается
Да и задача, насколько я понял, сжать несжатые данные. Самое простое -- MOVE
6 июл 09, 03:31    [7378790]     Ответить | Цитировать Сообщить модератору
Все форумы / Oracle Ответить