Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Caché Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1407
Были в вашей практике проблемы с целостностью баз данных Каше?
Да, неоднократно
37,5%
 (6)
Когда-то давно пришлось исправлять
43,8%
 (7)
Не приходилось заниматься, но коллега сталкивался
0,0%
 (0)
Не сталкивался
12,5%
 (2)
Что это?
6,3%
 (1)
Голосование открыто только для зарегистрированных пользователей.
Проголосовало: 16  

DAiMor
Но есть возможность запустить REPAIR для удаленной базы через ECP
Пробую (Cache 2015.1.2):

%SYS>zn "^TDB01^QMSRELEASE-GLOBALS"

^TDB01^QMSRELEASE-GLOBALS> ; чтобы никто не сомневался, что такая удалённая БД есть

^TDB01^QMSRELEASE-GLOBALS> zn "%SYS" d ^REPAIR

***Block Repair/Examine Program***


Directory: : /vol/cachesys/mgr/ => ^TDB01^QMSRELEASE-GLOBALS
%SYS>

наверное, среагировала на ^; если ввести без него, говорит: Directory 'TDB01^QMSRELEASE-GLOBALS' does not exist
28 июл 17, 12:28    [20682272]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1407
Блок А.Н.,

не хочу сыпать соль на раны, но вы наверное и сами поняли, что "сторонняя фирма" вас серьёзно подставила. Правильнее было бы разрулить вопрос с лицензией, у вас ведь и обновлений нет. Насчёт иностранных инженеров: в WRC сильнее Николая Жохова никого сегодня нет, по крайней мере я не встречал.

По поводу упомянутых 4-х полей Bl*: даже спецы WRC боятся в них лазить, не рискну гадать, что они делают. Некоторая избыточность для доп.контроля точно есть.

Неверной сортировки внутри блока в вашем примере я не увидел (вздохнув с облегчением), а насчёт нарушения сортировки в цепочке блоков объяснение DAiMor-а прозвучало правдоподобно. Такие ошибки Integrity всегда видит.

Соглашусь и с тем, что причина столь частых ошибок может быть только внешняя, Cache так сбоить просто не умеет.
28 июл 17, 12:49    [20682353]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
DAiMor
Member

Откуда: Volzhsky -> Moscow -> CZ, Brno
Сообщений: 2340
Alexey Maslov,

Точка входа для ECP другая
%SYS>d ECP^REPAIR

***ECP Client Cache Block Repair/Examine***


Remote directory? (h for help, ? for a list, Q to quit):


из раннего что есть под рукой, тоже работает
Cache for UNIX (Apple Mac OS X for x86-64) 2014.1.4 (Build 803_2U) Tue Aug 11 2015 16:54:11 EDT
28 июл 17, 13:02    [20682412]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1407
DAiMor,

вот оно как, спасибо, будем знать. Хотя мне трудно представить себе админа в здравом уме и трезвой памяти, который станет чинить БД, предварительно не отключив всех клиентов (включая ECP).
28 июл 17, 13:37    [20682607]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1407
Попробовал d ECP^REPAIR любопытства ради. Выдала список удалённых баз на СБД, включив в него даже такую: "^TDB01^/vol/cachesys/mgr/cachetemp/", которая, конечно, не описана в конфигурации удалённых баз на СП. Но при попытке перейти в любую базу ответ один: "The database is not mounted".

Хотя все они, конечно, mounted, ECP работает, и на СБД видно, что все базы смонтированы (они "белые", а не "розовые").

В любом случае, хотя бы имеем утилиту командной строки для просмотра списка удалённых баз. Её иногда не хватало, приходилось либо лезть в Портал, либо вызывать SHOW^%NSP и вытаскивать спецификацию БД из её выдачи.
28 июл 17, 13:53    [20682649]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
DAiMor
Member

Откуда: Volzhsky -> Moscow -> CZ, Brno
Сообщений: 2340
Alexey Maslov
В любом случае, хотя бы имеем утилиту командной строки для просмотра списка удалённых баз.
У меня нету сейчас под рукой настроеного ECP.
Но вот команду нашел
do ##class(SYS.ECP).DisplayDatabases()

а ECP^REPAIR
использует такую
s sfn=##class(SYS.ECP).AskUserForRemoteDir()
28 июл 17, 14:53    [20682988]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1407
DAiMor,

"d ECP^REPAIR" короче, чем "do ##class(...)...()"
28 июл 17, 15:07    [20683054]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
DAiMor
Member

Откуда: Volzhsky -> Moscow -> CZ, Brno
Сообщений: 2340
Alexey Maslov
DAiMor,

"d ECP^REPAIR" короче, чем "do ##class(...)...()"
тоже верно
28 июл 17, 15:14    [20683090]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1407
DAiMor,

подумал было, что класс путается с зеркальной (mirror) конфигурацией, и попробовал на другом, тоже работающем СП, но без зеркала. Результат тот же. И в общем-то имеет право не работать: публикации в Release Notes ещё не было. Мне ради этой мелочи лень разворачивать ECP-"кластер" на 2017.1; будут ещё задачи, заодно посмотрю и это.
28 июл 17, 15:44    [20683216]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Блок А.Н.
Member

Откуда: Новосибирск
Сообщений: 3519
Alexey Maslov
не хочу сыпать соль на раны, но вы наверное и сами поняли, что "сторонняя фирма" вас серьёзно подставила.
Это политика Интерсистемс в первую очередь, что она позволяет продавать свои лицензии сторонним фирмам и оставляет поддержку на их совести.
Alexey Maslov
Правильнее было бы разрулить вопрос с лицензией, у вас ведь и обновлений нет.
Ээм. А что делать с лицензией, софт то не самописаный. Никто ведь гарантий, что он будет работать на другой версии Каше не даст, а просто потому что круто в здравом уме тоже мало кто согласится эпгрейдиться.
Alexey Maslov
Насчёт иностранных инженеров: в WRC сильнее Николая Жохова никого сегодня нет, по крайней мере я не встречал.
Не могу судить, меня почти всегда переводили в итоге на англоязычных специалистов.
Alexey Maslov
Неверной сортировки внутри блока в вашем примере я не увидел (вздохнув с облегчением), а насчёт нарушения сортировки в цепочке блоков объяснение DAiMor-а прозвучало правдоподобно. Такие ошибки Integrity всегда видит.
Ну ошибка то внутри блока в любом случае до рассечения, тут мы уже ничего не увидим, даже если что-то было.
29 июл 17, 07:28    [20684550]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Блок А.Н.
Member

Откуда: Новосибирск
Сообщений: 3519
Alexey Maslov
вот оно как, спасибо, будем знать. Хотя мне трудно представить себе админа в здравом уме и трезвой памяти, который станет чинить БД, предварительно не отключив всех клиентов (включая ECP).
Уверяю вас, таки есть, как минимум один .
Ошибки обычно в индексах, пример, который я привел, скорее исключение. Останавливать всю систему ради того, чтобы поправить один индекс, не вижу особого смысла. Система работает по многим российским часовым поясам, чем в какой момент занимается - я не знаю. После исправления логики целостности я просто перестраивают индекс без удаления (кроме одной таблицы, ее вообще не перестраиваю, потому что это порождает несколько десятков гигабайт журналов и такое же распухание CACHETEMP). Явная коллизия за все время была только одна, просто пришлось еще раз исправить ошибку. На случая предположения, что я сам же эти ошибки и делаю - нет, они в разных глобалах происходят.
29 июл 17, 07:38    [20684552]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1407
Блок А.Н.
Это политика Интерсистемс в первую очередь, что она позволяет продавать свои лицензии сторонним фирмам и оставляет поддержку на их совести
Вообще-то, нормальная практика продаж через VARов. Если в "цепочке -вендор - партнёр(VAR) - клиент" последний оплачивает техподдержку, а партнёр не платит вендору и лишает тем самым клиента т/п вендора, значит, он кидает клиента, и вполне может за это ответить, разве нет? Впрочем, вариантов развития событий здесь много, и я отнесусь с пониманием, если вы не захотите вдаваться в подробности. Это на вашей новой работе происходит?

Насчёт ремонта БД на ходу: это на самом деле опасно, можно огрести новых ошибок, и вполне возможно, что это ваш случай. Кроме того, остановив работу, вы привлекаете внимание руководства к проблемам:
- БД рушится => нестабильная работа железа
- нет зеркального сервера; что если основной сервер совсем станет?

Ремонтируя БД на ходу, вы превращаетесь в "героя, спасающего мир", из которого в любой момент могут сделать стрелочника ("плохо починил" и т.д.).
30 июл 17, 22:33    [20686389]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Блок А.Н.
Member

Откуда: Новосибирск
Сообщений: 3519
Alexey Maslov
а партнёр не платит вендору и лишает тем самым клиента т/п вендора, значит, он кидает клиента
Из чего вы сделали такие выводы?
Alexey Maslov
Это на вашей новой работе происходит?
Да, на новой.
Alexey Maslov
Насчёт ремонта БД на ходу: это на самом деле опасно, можно огрести новых ошибок, и вполне возможно, что это ваш случай. Кроме того, остановив работу, вы привлекаете внимание руководства к проблемам:
Я не "владелец" системы, если я ее остановлю без согласования, то в первую очередь привлеку внимание к себе. Внимание руководства к проблеме я привлек обычными способами, но версий ни у кого нет, и что делать никому не понятно. Зеркального сервера нет, это проблема, о ней тоже знают, но в случае такого разрушения не факт, что оно поможет.
По поводу новых ошибок. Как вы представляете механизм появления ошибки в одном глобале при правке связности в другом? Я не представляю. Самый вероятный случай: при правке линка одного узла модифицируется родительский блок, при этом в родительский блок на живой системе добавляется подузел, который после сохранения правленого родительского узла видно не будет. Ошибка отлично видится и элементарно исправляется. Ситуации типа расщепления родительского блока, понижения или повышения уровня дерева и подобные штуки на тех объемах и том времени, в котором это находится, крайне маловероятны, и в любом случае это будет видно.

Alexey Maslov
Ремонтируя БД на ходу, вы превращаетесь в "героя, спасающего мир", из которого в любой момент могут сделать стрелочника
Мне уже приходилось экстренно разбираться с прикладными проблемами, отчасти с вопросами "а не из-за твоих ли проблем они возникли?" (в некоторых ситуациях перестало хватать памяти процесса). А кому сейчас легко?

Пара деталей еще:
1. сервера находятся у хостера, за время моего наблюдения хостер сменился, проблемы остались;
2. сервера находятся под VMWare. У меня нет опыта эксплуатации систем подобного объема под виртуалкой (многопроцессорные системы, терабайтные объемы данных).
31 июл 17, 08:15    [20686746]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Блок А.Н.
Member

Откуда: Новосибирск
Сообщений: 3519
Alexey Maslov
Нашёл у себя рецепты по ремонту БД при некоторых типах ошибок, конкретно: 9, 13, 14, 24, 26. Могу выложить куда-нибудь, если интересно.
Выложите. Если есть описание номеров, то тоже, это даже более желательно. Мне номера ошибки ничего не говорят, каждый раз текстом читаю.
31 июл 17, 08:44    [20686782]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1407
Блок А.Н.
зеркала нет...но в случае такого разрушения не факт, что оно поможет...
Поможет. Как вы хорошо знаете, зеркало работает через журнал, а его целостность не зависит от целостности БД. Испорченный журнал я вроде бы видел 1 раз за 15 лет, и то до конца не уверен, что видел :)
Блок А.Н.
По поводу новых ошибок. Как вы представляете механизм появления ошибки в одном глобале при правке связности в другом? Я не представляю.
Я тоже, имел в виду появление ошибок в том же самом глобале.
Блок А.Н.
2. сервера находятся под VMWare. У меня нет опыта эксплуатации систем подобного объема под виртуалкой (многопроцессорные системы, терабайтные объемы данных).
У меня тоже нет опыта настройки такого хозяйства в целом, однако разворачивать и запускать систему (Linux + Cache) под vSphere приходилось. На нашем крупнейшем объекте БД подобного объёма; 2.5 года в строю без серьёзных нареканий. Эксплуатирует всё, включая Cache, сторонняя организация.
31 июл 17, 12:13    [20687503]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Блок А.Н.
Member

Откуда: Новосибирск
Сообщений: 3519
Alexey Maslov
Как вы хорошо знаете, зеркало работает через журнал, а его целостность не зависит от целостности БД.
да, но база то будет все равно с нарушенной целостностью, максимум, что можно сделать - это переключиться на целый узел зеркала, а кривой пересоздать. При скорости возникновения ошибок около двух в неделю - это вообще не вариант.

Alexey Maslov
Я тоже, имел в виду появление ошибок в том же самом глобале.
Тот же самый глобал после исправления целостности я проверяю. Не всегда удается поправить ошибку с первого раза, был как минимум один случай, когда мои действия породили ошибку целостности. Но в итоге глобал я выправляю. Что не мешает появлению новых ошибок.
31 июл 17, 14:55    [20688404]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
kalin
Member

Откуда:
Сообщений: 176
Alexey Maslov,

Вот писал когда-то здесь
http://www.sql.ru/forum/1011743/postroenie-otkazoustoychivogo-klastera-dlya-cache?hl=drbd

Технология работает уже лет 7 24 часа в сутки. Никаких проблем с целостностью данных.
Вероятность падения базы на двух серверах близка к 0. Для повышения надежности в сетевой рейд можно включить любое количество серверов.
3 авг 17, 10:09    [20697036]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
kalin
Member

Откуда:
Сообщений: 176
https://ru.wikipedia.org/wiki/DRBD
3 авг 17, 10:14    [20697052]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Блок А.Н.
Member

Откуда: Новосибирск
Сообщений: 3519
kalin,

В моем случае операционка - винда. Но с ней обычно тоже все достаточно стабильно.
3 авг 17, 14:14    [20697908]     Ответить | Цитировать Сообщить модератору
 Re: Были в вашей практике проблемы с целостностью баз данных Каше?  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1407
kalin
Технология работает уже лет 7 24 часа в сутки. Никаких проблем с целостностью данных.
Рад это слышать :) Написали бы заметку на community, чтобы аксакалы из ISC за вас тоже порадовались, а может, и присоветуют что. С нас-то спрос невелик.
3 авг 17, 15:55    [20698409]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
Все форумы / Caché Ответить