Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
Доброго времени суток.

Подскажите, есть ли способ ускорить процесс сбора статистики и реорганизацию таблиц?
6 ноя 12, 14:50    [13426820]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Mark Barinstein
Member

Откуда: Москва
Сообщений: 4946
Loofi,

Здравствуйте.

По статистике:
Можно использовать (особенно для больших таблиц) в RUNSTATS предложения TABLESAMPLE для таблиц и SAMPLED DETAILED для индексов. См. описания этих опций по ссылке.

По реорганизации:
Можно использовать в REORG предложение CLEANUP ONLY. См. описание опции по ссылке.
Если версия ESE, можете рассмотреть возможность использования MDC или table partitioning и реорганизовывать раздел таблицы, а не всю таблицу целиком.
6 ноя 12, 16:31    [13427944]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
Спасибо, попробую
6 ноя 12, 16:42    [13428054]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Loofi,

Можно также запускать обновление статистики и реорганизацию в окна минимальной активности пользователей.
7 ноя 12, 09:45    [13430694]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
Andron,

не выйдет. Наши маньяки в субботу в 21:00 работать пытаются, не говоря уже про будние дни.
7 ноя 12, 10:43    [13431061]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
slix
Member

Откуда:
Сообщений: 17
Loofi
Andron,

не выйдет. Наши маньяки в субботу в 21:00 работать пытаются, не говоря уже про будние дни.


Можно создать скрипты по реорганизации и сбору статистики. Запускать через планировщик задач в ночное время.
7 ноя 12, 12:29    [13432073]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
slix,

так и делаю. Но таблицы большие, много времени уходит, в ночное время не укладываюсь.
7 ноя 12, 12:36    [13432131]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
slix
Member

Откуда:
Сообщений: 17
Loofi,

К ПО не относится, но если есть возможность, закупите более быстрое дисковое пространство.
Ну и при таких раскладах, наверное, стоит подумать о разбиении базы.
Тоже проблемы с растущими базами имеются. Хотим разделить на архивную и оперативную БД.
7 ноя 12, 12:48    [13432268]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
slix,

дисковое пространство используем довольно-таки производительное, от netApp.

А в чём суть технологии разделения на архивную и оперативную БД, если не затруднит?
7 ноя 12, 13:41    [13432764]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Можно обойтись без скриптов: сделать AUTO_MAINT ON и AUTO_TBL_MAINT ON затем включить AUTO_RUNSTATS и AUTO_REORG. После этого достаточно будет определить окно самообслуживания в которое будут запускаться автоматические операции. Окно автоматического обслуживания проще всего определить в Центре управления > подкл к базе > контекстное меню на базе в левом окне > Конфигурировать автоматическое обслуживание > запускается мастер где устанавливаем необходимые параметры обслуживания.

Подробнее см. Автоматическое обслуживание таблиц в DB2
7 ноя 12, 13:47    [13432822]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
Andron,

я понял. Но система - продакшн, почти 24*7.
Автостатистика и автореорганизация в указаные промежутки времени игнорируют критичные таблицы.
7 ноя 12, 15:19    [13433648]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1091
Loofi,

А какая редакция DB2?
На ESE можно подумать о разбиении таблицы на partition'ы и reorg'и по ним проводить индивидуально (на WSE можно до некоторой степени сэмулировать).
Также (если доступна фича) добавить сжатие. Многие большие таблицы жмутся очень хорошо. Реоргам, как и сбору статистики, это сильно поможет (если в CPU не упрётся).

Можно также поиграться с размерами страниц и тем, как записи в них пакуются (сжатие тут тоже сыграет свою положительную роль).


BTW А как данные вообще меняются? Наверное вообще с этого надо начинать.
Преимущественно добавляются или и добавляются, и удаляются (если да, то как, большими "блоками" или поодиночке); как часто апдейтятся (меняет ли это длину записи); как меняются индексируемые поля; можно ли выделить часть данных в таблице, используемую чаще других (отсюда вариант разбиения "текущие" данные - "архив"), и т.п.
8 ноя 12, 12:11    [13438589]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
CawaSPb,

использую ese 9.7.4. В CPU не упрётся, ибо запас "прочности" имеется. Чтения больше чем записи, но и записи не мало. База сама не большая, 90 Гб. Есть проблемы с одной таблицей 13ГБ. Реорганизуется идёт 14 часов, потом столько же времени индексы реорганизует. В принципе, за выходные можно успеть все операции, но ползатели своей работой создают тупиковую ситуацию в ответственный момент. Соответственно, в понедельник вся база сияет лок вэйтами. Работа стоит — таблица реорганизуется.
8 ноя 12, 14:05    [13439687]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
CawaSPb
Member

Откуда: Питер/Москва/Wroclaw
Сообщений: 1091
Loofi,

Ну, варианты тогда:
а) разбить на партишены и реорганизовывать их по отдельности.
Весьма вероятно, что и реорга при таком раскладе потребуют не все.

б) можно использовать такой хак как залоадить всю эту таблицу нафиг в другую, потом их подменить (есть ньюансы).


В обоих случаях сжатие может сильно пойти на пользу. Я бы рекомендовал где-либо проверить, насколько таблица жмётся, и при необходимости опцию сжатия докупить.
8 ноя 12, 15:25    [13440372]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
CawaSPb,

вариант а) - мне не разрешат, вариант б) - как-то боязно.
8 ноя 12, 16:34    [13440868]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
sysdummy1
Guest
Loofi
Есть проблемы с одной таблицей 13ГБ. Реорганизуется идёт 14 часов, потом столько же времени индексы реорганизует.

Как-то мягко говоря не быстро для 13-ти ГБ.
А с нетапом точно все нормально ? На том же рейде, где база лежит паралельно никакой тяжелой нагрузки нет ?
8 ноя 12, 16:55    [13441030]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
sysdummy1,

дык в этой же системе ещё 3 базы:256Мб,100ГБ и 210Гб. С нэтаппом всё хорошо. Если остальную нагрузку снять, то таблица реорганизуется за 7 часов.
8 ноя 12, 18:06    [13441546]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
const64+
Guest
Loofi
CawaSPb,

использую ese 9.7.4. В CPU не упрётся, ибо запас "прочности" имеется. Чтения больше чем записи, но и записи не мало. База сама не большая, 90 Гб. Есть проблемы с одной таблицей 13ГБ. Реорганизуется идёт 14 часов, потом столько же времени индексы реорганизует. В принципе, за выходные можно успеть все операции, но ползатели своей работой создают тупиковую ситуацию в ответственный момент. Соответственно, в понедельник вся база сияет лок вэйтами. Работа стоит — таблица реорганизуется.

Насколько я понимаю, если табл. работает на select и insert реорганизация не есть жизненно необходимая операция, статистика важнее. А сколько выполняется обновление статистики? Может имеет смысл ограничиться только ею, а реорг оставить на новогодние праздники?
8 ноя 12, 21:22    [13442547]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
const64+,

суть такова: есть упомянутая таблица и ещё 2 маленькие связанные с ней (на этих двух процесс реорганизации таблицы, реорганизации индексов и сбор статистики проходит за 30 минут. Если в выходные их не реорганизовать, то в понедельник лучше вообще на работу не приходить.
Если таблица реорганизована - статистика собирается 9 минут, если нет - не знаю, ждал больше часа, не дождался вырубил.

P.S. найдётся чудо, которое под бой курантов залепит тупиковую ситуацию при реорге. Не на этой базе, так на другой. У меня баз мнооого.
8 ноя 12, 22:39    [13442744]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2550
Интересная ситуация. Что 13, что 7 часов мне кажется многовато. Насколько я помню, у меня на SATA-дисках сопоставимое много быстрее.

Недостаточно информации, чтобы понять, почему потребовался reorg. В зависимости от ситуации можно было бы подумать о
* подборе правильных pctincrease и pctfree
* кластерном индексе, чтобы по возможности поддерживать порядок
* каком-то дополнительном индексе/индексах, с целью добиться index only access на критических запросах.

Компрессия - это хорошо.
9 ноя 12, 00:13    [13443039]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
const64
Member

Откуда:
Сообщений: 779
Действительно, как-то странно... у меня есть табл. примерно такого объема - но для нее что реорг, что рунстатс выполняются минуты...
Вы можете провести эксперимент: сделайте копию БД где-нибудь в другом месте (на других дисках) и посмотрите сколько там займет это времени.

P.S. чтобы не мешали, можно перед реоргом либо QUIESCE сделать, ну, или, права отобрать у пользователей...
9 ноя 12, 08:37    [13443706]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Loofi,

Можете показать для вашей проблемной таблицы вывод команды db2pd -db имя_базы -tcbstats |grep имя_таблицы ?
9 ноя 12, 12:17    [13445188]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
Andron,

0x000007F31FC130F8 2 6 n/a 2 6 R_COMPONENTS_VALUE DB2ADMIN Perm 3455523 0 0 0
0x000007F31FC130F8 R_COMPONENTS_VALUE DB2ADMIN 0 2053490 2053490 310 0 15291131 5599 355519 753 2816 391 41 0 0 0 - -

как-то так
9 ноя 12, 12:55    [13445507]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Inserts Updates Deletes
355519 753 2816

А сколько uptime базы с момента пред активации? Если достаточно большой то приведенная статистика по обновлениям данных говорит в пользу того что частая реорганизация таблицы не является сильно необходимой (кол-во insert по сравнению с update и delete достаточно большое). Насколько я понимаю именно большое число update и delete должно являтся поводом к частой реорганизации таблицы, а здесь не так.
9 ноя 12, 13:55    [13446209]     Ответить | Цитировать Сообщить модератору
 Re: Сбор статистики и реорганизация  [new]
Loofi
Member

Откуда:
Сообщений: 41
Andron,

uptime БД 3 часа
9 ноя 12, 14:21    [13446488]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / IBM DB2, WebSphere, IMS, U2, etc Ответить