Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Caché Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Вебинары по технологиям InterSystems  [new]
VadimF
Member

Откуда: InterSystems Russia
Сообщений: 512
Мы планируем провести серию вебинаров по технологиям InterSystems, для архитекторов и разработчиков, знакомых с технологиями InterSystems.

Первый вебинар "Новые возможности InterSystems Cache'/Ensemble 2017.1" состоится 18 июля c 10:00 до 11:00.

Второй вебинар "DeepSee и DeepSee Web" состоится 15 августа c 10:00 до 11:00.

Будем сообщать о следующих вебинарах.

Если будут какие-то предложения по темам вебинаров, пишите мне или консультантам, которые с вами работают.

Регистрируйтесь по ссылкам выше!
Ждем вас на наших вебинарах!
10 июл 17, 14:12    [20629365]     Ответить | Цитировать Сообщить модератору
 Re: Вебинары по технологиям InterSystems  [new]
Блок А.Н.
Member

Откуда: Новосибирск
Сообщений: 3522
VadimF,

Время, я так понимаю, московское?

Предлагаю тему "Восстановление целостности базы". Потому что научиться этому на тестовых примерах практически нельзя, а когда необходимость настанет - учиться уже придется на реальных данных, что довольно таки опасно.

И документации все меньше и меньше. Кажется, в текущей версии нет даже информации о структуре базы.
10 июл 17, 17:29    [20630392]     Ответить | Цитировать Сообщить модератору
 Re: Вебинары по технологиям InterSystems  [new]
Макс1812
Guest
Только на ютуб залейте потом в хорошем/отличном качестве =) В будние дни некогда смотреть.
11 июл 17, 09:09    [20631828]     Ответить | Цитировать Сообщить модератору
 Re: Вебинары по технологиям InterSystems  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1410
Блок А.Н.
Потому что научиться этому на тестовых примерах практически нельзя...
Ничуть не умаляя важности темы, и даже безотносительно к ней: на каких же ещё примерах можно что-либо рассматривать в формате вебинара?
11 июл 17, 12:20    [20632698]     Ответить | Цитировать Сообщить модератору
 Re: Вебинары по технологиям InterSystems  [new]
Блок А.Н.
Member

Откуда: Новосибирск
Сообщений: 3522
Alexey Maslov,

Я неверно выразился. Правдоподобные тестовые примеры для исправления целостности самому не имея опыта сделать сложно, а неправдоподобные не имеет смысла, так как сам заранее знаешь, что сломал.
11 июл 17, 13:56    [20633211]     Ответить | Цитировать Сообщить модератору
 Re: Вебинары по технологиям InterSystems  [new]
DirksDR
Member

Откуда: Пермь
Сообщений: 318
Блок А.Н.
Предлагаю тему "Восстановление целостности базы".

С одной стороны, это не новая возможность.
С другой стороны, а правильно ли заниматься ремонтом базы в принципе?
У других СУБД я не встречал инструкций и инструментов по ремонту БД,
только восстановление из бакапов.
Восстановление физической целостности путем ремонта не гарантирует логической целостности, имхо.
Чем вызвано такое настойчивое желание ремонтировать БД руками?
11 июл 17, 14:02    [20633243]     Ответить | Цитировать Сообщить модератору
 Re: Вебинары по технологиям InterSystems  [new]
Блок А.Н.
Member

Откуда: Новосибирск
Сообщений: 3522
DirksDR,

Бывает, что база поломана, а когда - неизвестно. И вообще, жизненный цикл непрерывный, а восстановление из бэкапа несколько дней идет. И ломаются обычно индексы и подобные данные с часто расщепляемыми блоками, потеря которых не фатальна, но и битую структуру держать нельзя. Да мало ли случае может быть в конце концов. Я соглашусь, что полного восстановления данных в битой базе достичь нельзя, так как данные УЖЕ потерялись, в конце концов, какой-то блок расщепился, то записались в базу только некоторые блоки (например). Но исправление целостности данных на уровне блоков может быть лучшим вариантом по сравнению с другими, а восстановлением данных на прикладном уровне можно заняться позже или просто проигнорировать.
11 июл 17, 14:09    [20633275]     Ответить | Цитировать Сообщить модератору
 Re: Вебинары по технологиям InterSystems  [new]
Блок А.Н.
Member

Откуда: Новосибирск
Сообщений: 3522
Блок А.Н.,

в конце концов, приходилось можно применять и гибридный вариант - восстанавливать данные из бэкапа более старые, и при этом ремонтировать структуру блоков, а потом сверять их. Но что ремонт базы бесполезный навык - не соглашусь.
Просто у вас не было случае, когда сервер на ходу терял диски или что-то подобное. Как правило, в этом случае поломка данных почти гарантирована, журналы и wij не помогают. Не помню только, для этого нужно отключать диск с базой или как раз с wij.
11 июл 17, 14:14    [20633299]     Ответить | Цитировать Сообщить модератору
 Re: Вебинары по технологиям InterSystems  [new]
DAiMor
Member

Откуда: Volzhsky -> Moscow -> CZ, Brno
Сообщений: 2342
DirksDR
У других СУБД я не встречал инструкций и инструментов по ремонту БД,
только восстановление из бакапов.
Восстановление физической целостности путем ремонта не гарантирует логической целостности, имхо.
Чем вызвано такое настойчивое желание ремонтировать БД руками?
Неужели у других СУБД настолько все плохо? Например посыпалась бинарном уровне база, например из-за диска, а бекапы все старые. То все, никаких шансов починить эту базу, только бекап и накатывать что сможешь утянуть?
Восстановление целостности базы каше, позволяет получить рабочую базу. Да, в зависимости от объема и характера повреждений, есть вероятность потери части данных, и в некоторых случаях есть возможность и их восстановить (например повреждения индексов).
Желание восстановить руками возникает, когда время деньги, а вариантов нету. Ну или бекапы старые, или разворачивать базу из бекапа на сотни гигабайт, чтобы восстановить кусочек в несколько килобайт. В общем куча варинтов. Вообще к структура базы каше на мой взгляд довольно простая, и не составляет особой сложности изолировать сбойный блок, если он не представляет особой ценности. При ручном ремонте кстати очень помогает знаение о данных в базе, чтобы принимать решение о важности тех или иных данных и о целесообразности их восстановления.
11 июл 17, 15:11    [20633768]     Ответить | Цитировать Сообщить модератору
 Re: Вебинары по технологиям InterSystems  [new]
DAiMor
Member

Откуда: Volzhsky -> Moscow -> CZ, Brno
Сообщений: 2342
Что касается восстановления данных, то полезен еще навык восстановления из журналов. Да и вообще работать с журналами нужно уметь.
  • Вы сделали kill очень важного глобала. Восстанавливаем базу из свежего бекапа, копируем оттуда этот глобал, и накатываете все изменения с этим глобалом из журналов после этого бекапа. Но до того рокового KILL. После этого база получится в актуальном состоянии.
  • клиент сообщает о том что, данные в объекте изменились, но никто этого не делал, и возможно даже прав на это не было. Не всегда возможно покрыть все собственным журналированием. Для этого помогает журналирование Caché. Можно найти изменение в журнале, и проанализировав записи по этому процессу, в дополнении с собственным журналированием, можно примерно составить полную картину того что произошло, и предотвратить это в дальнейшем.
  • а есть случаи распухания журналов, сейчас уже есть профилирование журналов, и можно понять что там лежит, и понять а нужно ли оно там.
  • 11 июл 17, 15:22    [20633845]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Блок А.Н.
    Member

    Откуда: Новосибирск
    Сообщений: 3522
    DAiMor,

    а еще есть такой способ. Сам бы не додумался, но ребята из СибЭКО попросили помочь. Удалили важные записи, нужно было восстановить. Нашли у журналов объектный интерфейс, просканировали журнал, нашли нужные записи и откатили только удаление записей в одной таблице.
    11 июл 17, 16:28    [20634243]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    DAiMor
    Member

    Откуда: Volzhsky -> Moscow -> CZ, Brno
    Сообщений: 2342
    Блок А.Н.,

    Ну да, ну с журналами только объектным доступом можно получить много интересного. Хотя в их случае думаю можно было обойтись и JRNFILT
    11 июл 17, 16:48    [20634314]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    ЕвгенийВ
    Member

    Откуда: Москва
    Сообщений: 4332
    DirksDR
    С другой стороны, а правильно ли заниматься ремонтом базы в принципе?
    У других СУБД я не встречал инструкций и инструментов по ремонту БД,
    только восстановление из бакапов.

    Оффтоп, но DBCC CHECKDB (Transact-SQL)
    11 июл 17, 18:03    [20634519]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    DirksDR
    Member

    Откуда: Пермь
    Сообщений: 318
    ЕвгенийВ
    Оффтоп, но DBCC CHECKDB (Transact-SQL)

    Проверка целостности это одно, а ремонт уже другое. По Вашей ссылке, в частности, сказано:
    Используйте аргументы REPAIR только как последнее средство.
    Для устранения ошибок рекомендуется восстановление из резервной копии. Операции восстановления не учитывают никакие ограничения, которые могут существовать для таблиц или между таблицами.
    Если указанная таблица включена в одно или несколько ограничений, рекомендуется выполнить инструкцию DBCC CHECKCONSTRAINTS после операции восстановления.
    Если необходимо использовать аргументы REPAIR, выполните инструкцию DBCC CHECKDB без параметра восстановления, чтобы узнать требуемый уровень восстановления.
    При использовании уровня REPAIR_ALLOW_DATA_LOSS рекомендуется создать резервную копию базы данных перед выполнением инструкции DBCC CHECKDB с этим параметром.

    Я не для спора, а для раскрытия темы:)
    Я согласен, что в некоторых ситуациях ручной ремонт будет полезен.
    Но умение работать с журналом не менее важно.
    DAiMor
    +1
    11 июл 17, 20:37    [20634860]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Блок А.Н.
    Member

    Откуда: Новосибирск
    Сообщений: 3522
    DirksDR,

    Для меня это звучит как 'зубная щётка это хорошо, а туалетная бумага ещё важнее'.
    Если вы хотите вебинар по теме тонкой работы с журналами, то я ведь только за.
    12 июл 17, 08:21    [20635473]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Блок А.Н.
    Member

    Откуда: Новосибирск
    Сообщений: 3522
    А по своей теме я бы хотел демонстрацию механизмов, при которых возникают ошибки целостности. Ведь есть журналы, wij. Где уязвимость?
    12 июл 17, 08:23    [20635479]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Alexey Maslov
    Member

    Откуда: СПб
    Сообщений: 1410
    Блок А.Н.
    Ведь есть журналы, wij. Где уязвимость?
    Журналы - это транзакционная целостность, WIJ - структурная ("физическая"). Если она утрачена, журналы помогут лишь как средство доката после восстановления бэкапа.

    Одна из потенциальных уязвимостей: демон записи, как известно, либо пишет в БД всю связанную группу блоков, которая предварительно была записана в WIJ, либо не пишет в БД ничего. По крайней мере, так это задумано. Но где гарантия, что все эти блоки действительно запишутся в БД? 100% гарантии нет, и чем сложнее становятся системы хранения данных, тем она отчасти выше, но и ОС становится "всё дальше" от железа.

    Совет, который нередко встречается: перевести дисковый контроллер в режим write-through, отключив write-back, тем самым замедлив скорость записи, но повысив уверенность в её успехе. Кто-нибудь так делает?
    12 июл 17, 12:04    [20636425]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Блок А.Н.
    Member

    Откуда: Новосибирск
    Сообщений: 3522
    Alexey Maslov,

    Про журналы понятно, что это маленько из другой оперы.

    По поводу режима кэширования - даже есть оно включено для записи, у нормальных дисков есть энергонезависимая память, что должно помогать при отключении.

    С wij, как я понимаю, демон записи либо пишет в wij, либо пишет в базу. По крайней мере, мне кажется, так должно быть с точки зрения надежности. По крайней мере, незаписанное в wij не должно попадать в базу. Дальше, если в данные не полностью записались из буфера памяти в wij, то при восстановлении питания и перезапуске Каше эти данные лучше всего игнорировать. Т.е. если сбой произошел на фазе записи в wij, то данные wij нужно игнорировать. Если сбой произошел на фазе записи в базу, то данные wij нужно просто в базу записать заново. Т.е. я не вижу варианта, при котором данные могут потеряться. И вроде бы с неожиданной потерей питания все более-менее нормально.

    А вот ситуация с потерей одного из контроллеров мне непонятна, и именно при этом обычно возникают ошибки в базе. Я не помню, правда, какой диск был во встречавшихся мне случаях: с базой или журналами, wij и каталогом Cache. Т.е. например, отстегивается диск, операционная система на это никак не реагирует, Каше отправляет данные из wji на запись в базу, часть из этих данных уходит на контроллер, часть нет? А Каше ничего не видя при этом переключает демон записи в разные режимы, которые нам в итоге даже не дадут понять что произошло? Потом она уходит в режим заморозки, сервер останавливают, меняют, например, контроллер, Но Каше не понимает, какую часть wij нужно докатить в базу, ведь операционная система приняла все данные до фриза? Что-то в таком роде хотелось бы понять, только не на уровне гаданий.
    12 июл 17, 13:59    [20636997]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Alexey Maslov
    Member

    Откуда: СПб
    Сообщений: 1410
    Блок А.Н.,

    в описанном вами случае отстегнуться должны были и БД, и WIJ, т.к. был бы цел WIJ, при перезагрузке в нем обнаружились бы блоки, дальше понятно.

    Write-back с умершим резервным источником питания или работа вообще без него: "сервер мы купили, а батарейку в контроллер пока нет, но через год купим" - случай из жизни.

    Еще одна причины порчи БД: ошибки в самой Cache. К счастью, такого рода ошибки очень редки и их обычно быстро исправляют. Из последнего: возможность деградации БД при уплотнении свободного места в БД (Compact free space). Исправили в Cache 2015.1.4.
    12 июл 17, 16:45    [20637807]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Блок А.Н.
    Member

    Откуда: Новосибирск
    Сообщений: 3522
    VadimF
    Первый вебинар "Новые возможности InterSystems Cache'/Ensemble 2017.1" состоится 18 июля c 10:00 до 11:00.
    Пока я разочарован.
    Проблемы со звуком, как у организаторов, так и слушателей, причем, слушатели не все смогли до конца настроить звук себе.
    Низкое качество звука (шумы, эхо), в том числе из-за некоторых слушателей, которые не отключили микрофоны.
    Очень низкая степень интерактивности, ведущий без остановки рассказал информацию по слайдам. Возможно, было в таком случае лучше записать видео и выложить его на ютуб? Смотреть его было бы удобнее, можно делать паузы, опять же, задать вопросы в комментариях.
    Отсутствие, как мне показалось, новой информации. Мне кажется, это все можно было узнать в описании релиза. Все-таки вебинар должен давать что-то, что иначе получить тяжело: практику, подробные демонстрации, общение и так далее.

    Спасибо коллегам в комментариях, была пара интересных ссылок, но мало кто, как мне кажется, успел их открыть.
    18 июл 17, 11:14    [20652955]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Alexey Maslov
    Member

    Откуда: СПб
    Сообщений: 1410
    Я второй раз участвую в вебинарах ISC; первый был лет 6 назад, рассказывали про свеженькое на тот момент "зеркало". Кто проводил - уже не помню, но прошёл он без серьёзных технических проблем, и вопросы дали позадавать, а не сразу "спасибо, до свидания".
    18 июл 17, 12:40    [20653468]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Alexey Maslov
    Member

    Откуда: СПб
    Сообщений: 1410
    Нашёл ссылку на обсуждение вебинара по зеркалу.

    Приятно было бегло перечесть: могут же, когда захотят.
    18 июл 17, 12:59    [20653578]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Блок А.Н.
    Member

    Откуда: Новосибирск
    Сообщений: 3522
    Alexey Maslov,
    да, я помню. По зеркалу вебинар понравился и на тот момент много чего дал.
    18 июл 17, 13:18    [20653713]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Блок А.Н.
    Member

    Откуда: Новосибирск
    Сообщений: 3522
    По заморозке планов ничего не понял. Посмотрел на 2017.2, в документации есть, а где в портале посмотреть замороженные планы и сравнить их с актуальными, так и не нашел.
    Зато случайно в поиске попалось "Alternate Show Plans". Не нашел, где она стабильно находится, но интересно, что для одного запроса могут генериться разные планы, их можно сравнивать в теоретическом быстродействии и практическом. Правда, не понял, какой из этого прок, можно ли установить для запроса альтернативный план?
    18 июл 17, 13:23    [20653739]     Ответить | Цитировать Сообщить модератору
     Re: Вебинары по технологиям InterSystems  [new]
    Александр Коблов
    Member

    Откуда: Краснодар, Москва
    Сообщений: 235
    Блок А.Н.,

    Подробнее про замороженные (frozen) планы запросов

    Презентация с Global Summit 2016:
    https://learning.intersystems.com/course/view.php?id=122

    Документация
    http://docs.intersystems.com/latest/csp/docbook/DocBook.UI.Page.cls?KEY=GSQLOPT_frozenplans

    В Портале планы показываются на вкладке "SQL-выражения в этом Namespace" в разделе «Обозреватель системы -> SQL». Там же планы можно заморозить.
    18 июл 17, 13:42    [20653855]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
    Все форумы / Caché Ответить