Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Informix Новый топик    Ответить
 ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
Вопрос:

1) что будет если ISM исчерпает место на диске на котором он хранит архивы логических журналов и журналов данных?
2) Можно ли как-то вычистить ненужные save set'ы (освободить место внутри тома)?
3) Можно ли как-то устроить, что бы объем занимаемый архивами ISM был стабилным?
4) Можно ли безболезненно перекинуть директории в которых ISM хранит архивы в другое место?
5) На сколько критична скорость работы ISM для сервера Informix?

О системе:
IDS 9.40
Retention period 7 days
Тома обещают жить до 2008 года.
Данные ISM и базы данных находятся на разных устройствах.
8 июн 06, 20:51    [2756564]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Выбегалло
Member

Откуда: Scottsdale, AZ, USA
Сообщений: 3794
Середа
Вопрос:

2) Можно ли как-то вычистить ненужные save set'ы (освободить место внутри тома)?


http://groups.google.com/group/comp.databases.informix/browse_frm/thread/e8e1196599adbb8d/b56d007b3f4918c4?q=ism+delete+save+set&rnum=2#b56d007b3f4918c4

So the command to delete an ssid would be:

nsrmm -d -S <ssid>
8 июн 06, 21:15    [2756611]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
1. Если кончится место на диске то том ISM будет помечен как "full" а девайс как read-only. Придется отключать этот том и подсоединять к пулу новый.

2. Место внутри тома можно освобождать с помощью определения политики retention и утилиты onsmsync, см. Backup and Restore Guide p.8-11 Expiring Old backups

3. Как? не давать пользователям обновлять данные? :)

4. Если *nix то используйте символические ссылки для имен устройств

5. Долгое время эксплуатировали ISM на сильно загруженном сервере с OLTP (иногда DSS), ISM работал без нареканий. Для лучшей производительности устройства ISM надо держать на отдельных от устройств Информикса дисках.
9 июн 06, 12:40    [2758329]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
ВыбегаллоСпасибо за инфу - будем рыть.

Andron
3. Как? не давать пользователям обновлять данные? :)

Нет. Стабилизировать объем за счет более-менее выравниваня объема архивируемых и удаляемых из архива данных.
9 июн 06, 14:46    [2759054]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
vasilis
Member

Откуда: Украина, Киев
Сообщений: 2205
Добавил этот топик в FAQ (https://www.sql.ru/faq/faq_topic.aspx?fid=676 ), так что ежели у кого то будут замечания к данным ответам-советам - исправляйте, корректируйте, чтобы в FAQ-и не попадала ложная информация.
9 июн 06, 15:27    [2759320]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
...начал ковырять :(
Пока толку мало. ИСМ не ругается но и физически ничего не удаляет. Пока перекинул архивы данных на большее устройство - во вторник продолжу.

Всем: "С праздником!"
9 июн 06, 17:25    [2760054]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Выбегалло
Member

Откуда: Scottsdale, AZ, USA
Сообщений: 3794
Середа
...начал ковырять :(
Пока толку мало. ИСМ не ругается но и физически ничего не удаляет. Пока перекинул архивы данных на большее устройство - во вторник продолжу.

Всем: "С праздником!"


ISM физически ничего не удаляет, даже командой nsrmm. Она (в отличие от retention) позволяет удалить информацию о произвольном saveset из внутреннего каталога ISM, но сам файл с архивом надо удалять ручками (или скиптом). Две серьезных конторы (HP и Cisco) на моей памяти от этого страдали.
9 июн 06, 20:57    [2760665]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
Т.е., ISM в принципе не содержит функции физического удаления данных из тома ISM?

А если я изменю дату expired тома ИСМ, он автоматически будет создавать новый: я смогу безболезненно удалить старый?

Какая утилита ИСМа позволит определить какие файлы входят в устаревший набор, а какие нет?
10 июн 06, 02:11    [2761155]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Выбегалло
Member

Откуда: Scottsdale, AZ, USA
Сообщений: 3794
Середа
Т.е., ISM в принципе не содержит функции физического удаления данных из тома ISM?

А если я изменю дату expired тома ИСМ, он автоматически будет создавать новый: я смогу безболезненно удалить старый?

Какая утилита ИСМа позволит определить какие файлы входят в устаревший набор, а какие нет?


1. Да. Заставить ISM физически удалить данные с диска невозможно (по крайней мере, я не знаю вариантов).
2. Изменение даты expired не гарантирует возможности удалить старый набор - даже протухший, он может быть необходимым для восстановления. И он все равно будет виден в отчетах.
3. насколько я знаю - никакая. Но можно посмотреть содержимое saveset-а, в том числе протухшего (если информация о нем не была удалена при помощи nsrmm )
10 июн 06, 02:43    [2761172]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
2. Изменение даты expired не гарантирует возможности удалить старый набор - даже протухший, он может быть необходимым для восстановления. И он все равно будет виден в отчетах.

Даже если делать:
onbar -d -w
onsmsync -g 1 (или onsmsync -O -g 1)
onsmsync -b
onsmsync

- даже после этого устаревшие архивы могут оказаться необходимы?
10 июн 06, 18:26    [2761606]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Хм, интересно, я считал что ISM будеть удалять устаревшие save set'ы. Возможно чтобы удаление произошло, надо сделать нек. доп. действия?

Как вариант, можно использовать схему удаления устаревших архивов, путем создания группы клонированных томов: перед очередным level-0 клонируете текущие тома в клоны (предварительно клоны очищаются с помощью ism_op -label), после чего запускаете level-0. Фишка здесь в том, что level-0 и бэкап журналов попадает только в обычные тома, в клоны он не идет. Т.о. всегда имеете в наличии текущий level-0 + журналы в нормальных томах и предыдущий в клонах.

В других SM ситуация несколько иная. Например при использовании Tivoli Storage Manager onsmsync помечает истекшие бэкапы, после чего сам TSM их удаляет (периодически в TSM запускается процесс который шерстит тома на предмет поиска устаревших бэкапов)
12 июн 06, 23:21    [2763953]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
Andron
Хм, интересно, я считал что ISM будеть удалять устаревшие save set'ы. Возможно чтобы удаление произошло, надо сделать нек. доп. действия?

Как вариант, можно использовать схему удаления устаревших архивов, путем создания группы клонированных томов: перед очередным level-0 клонируете текущие тома в клоны (предварительно клоны очищаются с помощью ism_op -label), после чего запускаете level-0. Фишка здесь в том, что level-0 и бэкап журналов попадает только в обычные тома, в клоны он не идет. Т.о. всегда имеете в наличии текущий level-0 + журналы в нормальных томах и предыдущий в клонах.

Посмотрим что будет со временем - может и удалит?
Удаление устаревших сейвсетов должно произойти по вызову onsmsync - правильно?

С клонированием интересная мысль - попробую если не получится с onsmsync.
16 июн 06, 11:04    [2778195]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Схема с клонированием кстати у меня использовалась довольно длительное время, и зарекомендовала себя с лучшей стороны.

Еще можете использовать схему с перенаправлением бэкапов по read_only: 4 устройства, 2 для текущего level-0 и журналов, 2 для предыдущего помеченных как read_only. Перед следующим level-0 текущие девайсы помечаете как read_only (размонтируете их, делаете read_only ism_op -mount $DEVICEDATA -read_only, снова монтируете), предыдущие очищаете и разрешаете в них запись (размонтировать, сделать ism_op -label $DEVICEDATA -force, снова смонтировать для записи).
Эта схема менее затратна по времени, поскольку не тратится время на клонирование данных. Такую схему до сих пор использую.
16 июн 06, 11:57    [2778662]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
Andron
Еще можете использовать схему с перенаправлением бэкапов по read_only: 4 устройства...

Да, хороший вариант. В итоге я так и сделал. Спасибо.
26 июн 06, 12:05    [2811720]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
Andron
размонтировать, сделать ism_op -label $DEVICEDATA -force

Почему-то операция не заканчивается..?
Запустил команду через ISM. Один проц загрузило под завязку, подождал часок - уничтожил процесс. Запустил ее же ручками - тот же эффект. Это нормальное? В тому сейчас 46 Гб архивов где-то за две недели. Есть и L0 и L1.

Можно ли просто удалить устройство, удалить каталог на диске, снова создать каталог, устройство, лабел, маунт...
3 июл 06, 15:02    [2837042]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
Середа
ISM.
Сорри. Через ISA.
3 июл 06, 15:03    [2837050]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
Последовательность действий для очистки томов под новый бэкап такая:

размонтировать ism_op -unmount $DEVICE
разметить заново ism_op -label $DEVICE -force
смонтировать ism_op -mount $DEVICE

46 Gb архивов это немало, тем более если диски медленные. Можете конечно попробовать делать через пересоздание тома и девайса ISM. Или делать бэкап и переключение между томами чаще, тогда и данных в ISM будет накапливаться меньше.
5 июл 06, 09:40    [2843485]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
Andron
Последовательность действий для очистки томов под новый бэкап такая:

размонтировать ism_op -unmount $DEVICE
разметить заново ism_op -label $DEVICE -force
смонтировать ism_op -mount $DEVICE

46 Gb архивов это немало, тем более если диски медленные. Можете конечно попробовать делать через пересоздание тома и девайса ISM. Или делать бэкап и переключение между томами чаще, тогда и данных в ISM будет накапливаться меньше.


Я делал все в такой же последовательности, как и Вы выше написали.
Дело крнчилось тем, что я на все плюнул, снес все настройки и хранилища ISM проинитил ISM заново, создал устройства, разметил тома и провел L0.

Теперь думаю, как бы упростить эту процедуру )
5 июл 06, 11:02    [2843965]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Andron
Member

Откуда: Cherepovets
Сообщений: 1816
А кстати, насколько много транзакций идет в вашей системе, что накапливается такой объем данных в ISM ? Или может быть просто на сервере много данных?
Рекомендую прописать в скрипт $INFORMIXDIR/bin/onbar строку
export ISM_COMPRESSION=TRUE, это позволит сжимать данные перед записью в ISM.
5 июл 06, 11:09    [2844017]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Середа
Member

Откуда:
Сообщений: 69
Andron
А кстати, насколько много транзакций идет в вашей системе, что накапливается такой объем данных в ISM ? Или может быть просто на сервере много данных?
Рекомендую прописать в скрипт $INFORMIXDIR/bin/onbar строку
export ISM_COMPRESSION=TRUE, это позволит сжимать данные перед записью в ISM.

Это с установленным Компрешн Тру.
Просто 25Гб объем данных в базе. Пара-тройка L0 вместе с пятком L1 - думаю, что 46 Гб - вполне должен получаться.
В оригинале за неделю будет один L0 и шесть L1 - объем будет меньшим.
5 июл 06, 11:49    [2844260]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Sergey Babitch
Member

Откуда: Kiev, Ukraine
Сообщений: 4
vasilis
Добавил этот топик в FAQ (https://www.sql.ru/faq/faq_topic.aspx?fid=676), так что ежели у кого то будут замечания к данным ответам-советам - исправляйте, корректируйте, чтобы в FAQ-и не попадала ложная информация.

При нажатии на эту ссылку выдаётся:
"Возможно вы неправильно набрали URL или FAQ с таким ID не существует" :(
10 авг 06, 11:32    [2986693]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Sergey Babitch
Member

Откуда: Kiev, Ukraine
Сообщений: 4
Выбегалло
Середа

Какая утилита ИСМа позволит определить какие файлы входят в устаревший набор, а какие нет?

3. насколько я знаю - никакая. Но можно посмотреть содержимое saveset-а, в том числе протухшего (если информация о нем не была удалена при помощи nsrmm )

ism_show -volume name
Показывает какие savesets есть in volume.
Соответственно те, которые там не показаны можно прибивать, IMHO.
10 авг 06, 11:41    [2986768]     Ответить | Цитировать Сообщить модератору
 Re: ISM контроль объема архивов (как?)  [new]
Daugava
Member

Откуда: Riga-Kiev-Gurzuf
Сообщений: 718
Уберите лишнюю скобку и запяту. И найдется FAQ
10 авг 06, 11:46    [2986826]     Ответить | Цитировать Сообщить модератору
Все форумы / Informix Ответить