Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4 5 6 7   вперед  Ctrl      все
 Re: Ночные дежурства  [new]
andreykaT
Member

Откуда: =||==
Сообщений: 3390
Ночные дежурства на крупных проектах это
Норма
26,2%
 (11)
Редкость
73,8%
 (31)
Голосование открыто только для зарегистрированных пользователей.
Проголосовало: 42  

ну это же как всегда ой завтра а завтра послезавтра а послезавтра послезавтра от послезавтра и т.п. ноги не доходят руки не доползают и т.п. тесты кстати до сих пор не починили. просто новую смену уведомили что "это ок". как гомер симпсон на атомной станции - просто скотчем залепили чтоб не светилось и ок.

а так с ночными звонками. ну мне как то так везло чтоль. или все делали настолько хорошо что в этом нужды никогда не было.
во многих других местах девелоперов просто не пускали к продам. тут меня например не пустили сказав что секурити веттинг надо пройти потом пустим а чтоб его пройти надо 5 лет прожить без перерыва. я сказал ну и ладно не особо то и надо было.

Сообщение было отредактировано: 4 май 21, 00:15
4 май 21, 00:20    [22318049]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
hVostt
Member

Откуда:
Сообщений: 19236
fkthat
hVostt
Не задача разработчиков в идеальном мире. В этом идеальном мире разработчик снабдил эксплуатацию исчерпывающей документацией, вывел всё данные для мониторинга и задокументировал их. И вообще система у него в достаточной степени прозрачная.

Да, опять-таки, это все правильно. Но вопрос-то не в этом, а в том, следует ли посреди ночи фиксить баг прямо на работающем продакшене. Я, в общем-то, тоже считаю, что не только можно, но и нужно, но только, если это, например, продакшен ПХП-сайта городской библиотеки.


Да кто говорит про баги-то? Практика показывает, что причина падений не банальные баги. Самая большая проблема в скорости восстановления. И вот здесь для админов система зачастую чёрный ящик. Текст ошибки "что-то пошло не так" с неперевариваемым стектрейсом, всё равно что плевок в лицо.
4 май 21, 00:30    [22318057]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
Eleanor
Member

Откуда:
Сообщений: 3313
У нас раньше дежурные звонили дба через день (я не была в списке обзвона первой, так что меня это тогда не волновало, а коллега как будто даже радовался своей востребованности).
Потом обложили все системы мониторингами, и звонков стало мало.
На настройку заббикса, алертов, самописных отчетов о работоспособности ушел где-то год. Проблемы стали обнаруживать задолго до того, как они станут критичными, и исправлять в рабочее время.

Сообщение было отредактировано: 4 май 21, 00:36
4 май 21, 00:43    [22318067]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
hVostt
Member

Откуда:
Сообщений: 19236
Eleanor
На настройку заббикса, алертов, самописных отчетов о работоспособности ушел где-то год. Проблемы стали обнаруживать задолго до того, как они станут критичными, и исправлять в рабочее время.


Собственно, +100500 :)
Так и должно быть.
4 май 21, 00:46    [22318071]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3834
softwarer
Вот за это, кстати, я всегда больно бил и сильно ругался.
Зачем кого-то бить, если есть вполне себе цивилизованные способы? Алерт в мониторинге должен в сервис-деске заводить аварию, которую нужно расследовать и отчитаться, количество аварий входит в KPI соответствующей службы - после такого все хипстеры довольно быстро поймут как нужно делать, а как не нужно. Помнится HP OVO красноту не убирал до тех пор пока ему отчет не напишешь по какой причине оно красное стало.
4 май 21, 00:55    [22318076]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 65558
Блог
Андрей Панфилов
количество аварий входит в KPI соответствующей службы

Я не лез на те уровни административной лестницы, которые позволили бы мне вводить KPI, тем более у непрофильных подразделений. Кроме того, я весьма скептично отношусь к поголовной KPIизации в принципе. По мне, мы пока просто не готовы делать её так, чтобы плюсов оказывалось больше, чем минусов. Так или иначе, суть очень простая: "привыкать к красному в мониторинге" - отвратительная практика, которую надо сходу и решительно искоренять.
4 май 21, 01:02    [22318078]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 65558
Блог
EvLaUy
Всюду, где я работал, всегда было именно так, и я не понимаю, как может быть иначе.

Позволю себе заметить, что мыслящий человек увидит здесь в первую очередь причину критично обдумать ситуацию. Если он всю жизнь принимал что-либо на веру и не понимал, как можно иначе - довольно вероятно, что он попал в ловушку догматического восприятия.

EvLaUy
Если принять Ваше утверждение за истину, зачем тогда нужно CI/CD?

Я понимаю, что Вы задаёте этот вопрос серьёзно и без каких-либо плохих намерений. В то же время для меня он звучит чем-то вроде "Если Вы говорите, что рыбакам нужно иногда выходить в море, то зачем нужны консервы шпроты?"

Предлагаю так. Я описываю вполне конкретную ситуацию (поведение системы), скомбинированную из двух реальных случаев. Вы описываете, как CI/CD поможет её решить. После этого я рассказываю причины такого поведения, и мы смотрим на применимость.

Итак, тестовая ситуация. У приложения есть функциональность в определённых случаях рассылать клиентам смс-ки. Каждое смс стоит денег (в том смысле, что оператор берёт плату пропорционально количеству посланных). Однажды ночью очередь смс на отправку резко увеличивается, и оказывается, что сервер начал по второму разу слать те же смс-ки уже проинформированным клиентам. Для полноты задницы - это была ночь с субботы на воскресенье. Ситуацию усугубляет то, что сообщения несут достаточно чувствительную информацию (типа выставленных счетов), а посланные сообщения - не полные дубли, а смысловые (смс-ки формировались второй раз, те же запросы вернули чуть другие значения сообразно изменениям, произошедшим за время с первой смс-ки). То есть, во-первых, это тупо расход денег, причём довольно существенных, во-вторых, клиенты получают по два различных счёта, с утра завалят техподдержку градом вопросов какой из них правильный итд. Для полноты проблемы - это только один из типов отправляемых смс-ок, все остальные работают нормально и среди них есть тоже важные, то есть просто отключить отправку смс-ок на сколько-нибудь долгое время - ну крайне нежелательно.

Как решит ситуацию fkthat мы уже увидели - он откатит софт на предыдущую версию, после чего сервер продолжит бомбардировку клиентов левыми смс-ками, пока разработчики спят, пьют утренний кофе и потом решают, успеют ли они исправить эту багу в текущем спринте или лучше запланировать её на следующий.

Ваш вариант?

Сообщение было отредактировано: 4 май 21, 02:45
4 май 21, 02:51    [22318100]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 2312
redkij,

Ну а что ты хотел? Херак-херак и в продакшон. Ну это, конечно, какой-то позор, что в ИС такая разруха, что её приходится 24/7 придерживать.
4 май 21, 06:32    [22318108]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 2312
hVostt,

Претензия к руководству в том, что довели ИС до такого состояния. От неё как бы успех компании зависит, а она работает только под присмотром.
4 май 21, 06:33    [22318109]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
Focha
Member

Откуда: Москва
Сообщений: 587
fkthat
У вас там колхоз или совхоз? Разработчик (!) ночью (!) исправляет баги в продакшене (!) Такого смайла, чтобы поставить ещё не придумали.

Спасибо за хорошее настроение с утра, прям посмеялся от души. Особенно про смайл.
4 май 21, 09:24    [22318120]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
fkthat
Member [заблокирован]

Откуда:
Сообщений: 4873
softwarer
он откатит софт на предыдущую версию, после чего сервер продолжит бомбардировку клиентов левыми смс-ками

С чего это он продолжит, если предыдущая версия этого не делала?
4 май 21, 10:38    [22318143]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
hVostt
Member

Откуда:
Сообщений: 19236
crutchmaster
hVostt,

Претензия к руководству в том, что довели ИС до такого состояния. От неё как бы успех компании зависит, а она работает только под присмотром.


Есть два подхода. Один подход: поиск виноватых -- это наше всё конечно же. Излюбленный подход :)
Другой подход: blameless post-mortem, более эффективный и действенный.

Да, можно найти мальчика для битья, избить его, и ждать следующих проблем :)
Просто понимаете, такой подход не приведёт обязательно к тому, что руководство резко исправит состояние ИС. Оно просто начнёт искать способы, как избежать ответственности.
4 май 21, 11:29    [22318163]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
Alexey Tomin
Member

Откуда: Самара
Сообщений: 1984
redkij
Всем привет. Я бэкендер. На текущем месте работы столкнулся с таким явлением как ночное дежурство. Условно, раз в пару недель (будни, выходные, неважно) наступает твоя очередь, когда тебе могут позвонить ночью, если в проде что-то развалилось. Надо просыпаться и пытаться фиксить в экстренном порядке. Теперь мучает вопрос - если хочешь быть разрабом на масштабном проекте, который используется 24/7, это прям норма и в большинстве топовых мест будет так же, или все же скорее редкость?


Очевидно, что ошибка в критичном сервисе должна быть исправлена быстро. Если это система банковских платежей- никто не будет ждать до утра.

С другой стороны так же очевидно, что это не дело разработчиков.

Решение простое- плейбуки. Набор чётких инструкций, по которым дежурный работник техподдержки может исправить ошибку. Если плейбук хороший и ошибку исправили- отлично. Если нет- то тут да, надо будить разработчика. После ночного аврала он, если не дурак, пойдёт и поправит плейбук. Так, через некоторое время, ночные дежурства станут формальностью.

Ну или не станут- значит что-то в команде не так и надо искать место с нормальной организацией работы.

PS: ну и в приличных местах за каждую беспокойную ночь полагается денежка.

Сообщение было отредактировано: 4 май 21, 12:14
4 май 21, 12:21    [22318204]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
hVostt
Member

Откуда:
Сообщений: 19236
Alexey Tomin
PS: ну и в приличных местах за каждую беспокойную ночь полагается денежка.


Палка о двух концах.

За каждую беспокойную ночь полагается денежка.
За простой сервиса компания эту денежку теряет, иногда в огромных количествах.

Т.е. с точки зрения топ менеджмента, компания потеряла баблишко, репутацию, по вине разработчиков/эксплуатации, и ещё должна им же денежку заплатить за восстановление :)

Смотрите на ситуацию шире, а не в лоб только с одной наиболее выгодной для себя стороны.
4 май 21, 12:36    [22318212]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
fkthat
Member [заблокирован]

Откуда:
Сообщений: 4873
hVostt
За каждую беспокойную ночь полагается денежка.

Австралийский знаток российских законов сказал, что ничего не полагается, и не надейтесь. А поскольку, как известно, все лучшие знатоки тех или иных реалий всегда находятся на другом конце света от этих реалий, то, значит, так оно и есть.
4 май 21, 14:11    [22318287]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
DaniilSeryi
Member

Откуда:
Сообщений: 1853
redkij
Всем привет. Я бэкендер. На текущем месте работы столкнулся с таким явлением как ночное дежурство. Условно, раз в пару недель (будни, выходные, неважно) наступает твоя очередь, когда тебе могут позвонить ночью, если в проде что-то развалилось. Надо просыпаться и пытаться фиксить в экстренном порядке. Теперь мучает вопрос - если хочешь быть разрабом на масштабном проекте, который используется 24/7, это прям норма и в большинстве топовых мест будет так же, или все же скорее редкость?


Была у меня в своё время работа с дежурствами по выходным. В субботу отдежурил, домой приехал, утром воскресенья проснулся, позавтракал, на часы посмотрел и понял, что выходные-то закончились уже! С тех пор стараюсь с такими работами (с дежурствами) и с работами, где установлен ненормированный рабочий день, не связываться.
А перед тем, как искать новую работу, куплю симку и заведу e-mail чисто для контактов по работе. В 18:00 часов выключил - в 9:00 часов рабочего дня включил. И пусть звонят ночью сколько хотят. Чего и Вам советую.

Ну и... На работе говорите, что едете к тёще на дачу, где нет интернета; тёще говорите, что у Вас ночное дежурство на выходных; а сами в мини-отель и спать.
4 май 21, 14:22    [22318292]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
hVostt
Member

Откуда:
Сообщений: 19236
DaniilSeryi
А перед тем, как искать новую работу, куплю симку и заведу e-mail чисто для контактов по работе. В 18:00 часов выключил - в 9:00 часов рабочего дня включил. И пусть звонят ночью сколько хотят. Чего и Вам советую.


А просто обговорить это, по-взрослому, при устройстве на работу и с руководителем — не?
Надо обязательно выдумывать какие-то странные истории, шифроваться и вести себя неадекватно )

Объясняя потом, не я такой -- жызень такая
4 май 21, 14:25    [22318296]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 65558
Блог
fkthat
softwarer
он откатит софт на предыдущую версию, после чего сервер продолжит бомбардировку клиентов левыми смс-ками

С чего это он продолжит, если предыдущая версия этого не делала?

Поэтому я и сказал про сугубо теоретические выкладки. Чем больше человек работает, тем большее разнообразие ошибок и их проявлений он встречает. Вера в то, что любая бага проявляется очевидно и сразу и поэтому внесена в последней версии - мягко говоря, джуниорская.

Ну просто для примера. Довелось мне однажды разбираться с багой, которая проявлялась очень эффектно - Первому Лицу Фирмы вдруг заново приходило несколько сотен/тысяч писем многолетней давности. Первое Лицо при этом рвало, метало и утверждало, что такое случается раз в пару лет, и это его уже достало дальше некуда, если перевести на цензурный. Я тогда нашёл причину. Бага сама по себе интересная и поучительная - в том плане, что она великолепно показала, как несколько неудачных архитектурных решений, будучи по отдельности "ну сойдёт, работает же", соединёнными вместе дают пороховую бочку. Но суть в том, что спусковым крючком, подрывавшим всю эту катавасию, был перевод сотрудника, включённого в определённую почтовую группу, из одного города в другой. А в эту почтовую группу входили люди не ниже заместителей руководителей филиалов, в общем - три десятка топов. Которые по очевидным причинам переезжали не так уж часто. И все тесты на ту функциональность отлично проходили по одной простой причине - никому как-то не приходило в голову до тестирования заглянуть в почту Первого Лица Фирмы (либо любого другого из той группы - у них это срабатывало так же) на тестовом сервере и проставить там всем письмам статус "прочитано", а после тестирования - дождаться срабатывания ночного джоба, посвящённого совсем посторонней тематике, снова заглянуть в почту ПЛФ и увидеть, что на ряде писем статус исчез. Собственно, я даже не удивлюсь, если на момент разработки функциональности с этой почтовой группой того джоба просто-напросто не было. А через год, допустим, когда его разработали и протестировали - никто не переводил топов из офиса в офис, поэтому бага тоже не проявилась. А потом, через годик, когда перевели...
4 май 21, 14:42    [22318307]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
fkthat
Member [заблокирован]

Откуда:
Сообщений: 4873
softwarer
Я тогда нашёл причину.

В сотый раз - ты её искал и исправлял наспех посреди ночи, заливая код прямо из IDE на боевой сервер? Или все-таки следовал принятым в том проекте процессам и правилам работы с кодом? А то, можно подумать, я говорю, что баги (особенно критичные) не нужно исправлять, или откладывать их исправление на месяц-другой.
4 май 21, 15:53    [22318344]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
Eleanor
Member

Откуда:
Сообщений: 3313
hVostt
DaniilSeryi
В 18:00 часов выключил - в 9:00 часов рабочего дня включил. И пусть звонят ночью сколько хотят. Чего и Вам советую.

А просто обговорить это, по-взрослому, при устройстве на работу и с руководителем — не?

У нас один кадр на собеседовании согласился, что как дба он должен принимать участие в обновлениях системы (за 2х отгулы).
Вышел на работу, через 2 недели ему сказали, что завтра обновление с 18:30 до 19:30. Может либо прийти попозже, либо записать время переработки и использовать его позже. Он снова кивнул, но пришел в 9:00, ушел в 17:00 и выключил телефон.
На следующий день заявил, что будет работать только с 9:00 до 17:00.
4 май 21, 16:04    [22318354]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
Vyatich
Member

Откуда:
Сообщений: 3822
Eleanor
hVostt
пропущено...

А просто обговорить это, по-взрослому, при устройстве на работу и с руководителем — не?

У нас один кадр на собеседовании согласился, что как дба он должен принимать участие в обновлениях системы (за 2х отгулы).
Вышел на работу, через 2 недели ему сказали, что завтра обновление с 18:30 до 19:30. Может либо прийти попозже, либо записать время переработки и использовать его позже. Он снова кивнул, но пришел в 9:00, ушел в 17:00 и выключил телефон.
На следующий день заявил, что будет работать только с 9:00 до 17:00.

Русский неродной? Всегда отвечает «да, насяльника»?
4 май 21, 16:08    [22318361]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 65558
Блог
fkthat
В сотый раз

Ты говоришь вместо того, чтобы думать.

Итак, почему откат к предыдущей версии далеко не всегда исправляет ошибочную ситуацию - мы выяснили. Есть ещё куча возможных причин, например, уже искалеченные данные, которых откат не исправит, но это не важно. Факт уже есть. Отсутствие у тебя представления, что делать если откат не помог - мы выяснили. В скобках можем отметить, что поспешный откат только сделает хуже. Но вся твоя процедура сводится к тому, чтобы сделать откат и продолжить сидеть в заднице.

Что же до той конкретной ошибки, то я начал её исправлять сразу после того, как ПЛФ обнаружил проблему и вызвал начальника департамента автоматизации для сеанса жёсткого секса. И начал я исправление с того, что выделил проблемные письма в почте ПЛФ и убрал их (вернул им статус "прочитано"). И для этого мне понадобился - внимание - доступ на прод. Доступно?

fkthat
А то, можно подумать, я говорю, что баги (особенно критичные) не нужно исправлять, или откладывать их исправление на месяц-другой.

Выше ты именно так и сказал. Теперь можешь поправиться. Расскажи процедуру на случай, если откат не помог. Даже не будем касаться того, что во вменяемой процедуре он идёт далеко не первым номером.
4 май 21, 16:22    [22318363]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
fkthat
Member [заблокирован]

Откуда:
Сообщений: 4873
softwarer
Расскажи процедуру на случай, если откат не помог

На этот случай процедура установлена уже больше 800 лет назад
4 май 21, 16:33    [22318368]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 65558
Блог
Vyatich
Русский неродной?

Не обязательно. Здесь мне пару раз пытались припомнить рассказанную мной историю, как я заставил двух сотрудников выйти на работу с первым поездом метро. Причина была в духе описанной выше. Фамилии сотрудников, насколько помню - Калинкин и Селин.

Сообщение было отредактировано: 4 май 21, 16:27
4 май 21, 16:33    [22318369]     Ответить | Цитировать Сообщить модератору
 Re: Ночные дежурства  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 65558
Блог
fkthat
softwarer
Расскажи процедуру на случай, если откат не помог

На этот случай процедура установлена уже больше 800 лет назад

Сами сделаете или помочь модераторским функционалом?
4 май 21, 16:34    [22318370]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4 5 6 7   вперед  Ctrl      все
Все форумы / Работа Ответить