Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Вопрос относящийся ко всем серверам баз данных  [new]
ну я
Member

Откуда: Москва
Сообщений: 1276
Вопрос к разработчикам и администраторам.
Кто использует и ведет собственные тесты пригодности версий? Проверяете ли вы самостоятельно выходящие версии перед их установкой в пользование? Или просто обновляете без своих проверок? Подозреваю что в основном нет, но особый интерес вызывает случа когда да. Речь именно не об операционках, а о серверах СУБД, о проверке очередных билдов без изменения операционок и прикладухи.
16 май 05, 17:55    [1545190]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос относящийся ко всем серверам баз данных  [new]
Paul Sacks
Member

Откуда:
Сообщений: 1105
Ну это же святая обязанность каждого администратора.
16 май 05, 18:00    [1545214]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос относящийся ко всем серверам баз данных  [new]
ну я
Member

Откуда: Москва
Сообщений: 1276
Обязанность проверки - это понятно, потому что достаточно расплывчато.
Вопрос в том, ведете ли вы самостоятельные юнит-тесты. Чтобы при получении версии запустить на ней эти тесты и по отчету определить пригодность.
16 май 05, 18:44    [1545343]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос относящийся ко всем серверам баз данных  [new]
Александр Гoлдун
Member

Откуда:
Сообщений: 2290

ну я пишет:
> Вопрос к разработчикам и администраторам.
> Кто использует и ведет собственные тесты пригодности версий? Проверяете
> ли вы самостоятельно выходящие версии перед их установкой в пользование?

Целенаправленное тестирование не ведется. Просто новый билд для начала
устанавливается на сервера разработчиков, потом через некоторое время на
некоторые сервера с не очень нагруженными и малокритичными рабочими
базами и т.д. Обычно глюки отлавливаются на первом этапе. Но вообще не
припомню, чтобы новые билды устоявщихся версий приносили новые
критические ошибки.
Сервер Sybase ASA.

Posted via ActualForum NNTP Server 1.2

16 май 05, 18:54    [1545368]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос относящийся ко всем серверам баз данных  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Александр Гoлдун

ну я пишет:
> Вопрос к разработчикам и администраторам.
> Кто использует и ведет собственные тесты пригодности версий? Проверяете
> ли вы самостоятельно выходящие версии перед их установкой в пользование?

Целенаправленное тестирование не ведется. Просто новый билд для начала
устанавливается на сервера разработчиков, потом через некоторое время на
некоторые сервера с не очень нагруженными и малокритичными рабочими
базами и т.д. Обычно глюки отлавливаются на первом этапе. Но вообще не
припомню, чтобы новые билды устоявщихся версий приносили новые
критические ошибки.
Сервер Sybase ASA.
Posted via ActualForum NNTP Server 1.2

Хочу только добавить, что имеется ввиду, что именно экспресс-обновления (багофиксы) очень редко выходят с багами. А вот сами новые версии или подверсии однозначно требуют очень большого тестирования и должно еще пройти фикса три, чтобы можно было подумать о том, чтобы обновить реально работающие сервера.

P.S. А вообще все зависит еще от самой СУБД (и даже ОС). В ASA для Windows, Windows 64, Windows CE и Novell багофиксы выходят каждый месяц-полтора, подверсии меняются примерно раз в полгода, версии раз в 2-3 года. Для других ОС багофиксы и подверсии выходят гораздо реже, обычно их подтягивают раз в 3-6 месяцев до самого стабильного пака в Windows.
17 май 05, 00:19    [1545785]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос относящийся ко всем серверам баз данных  [new]
michael_
Member

Откуда: Москва
Сообщений: 600
Александр Гoлдун

ну я пишет:
> Вопрос к разработчикам и администраторам.
> Кто использует и ведет собственные тесты пригодности версий? Проверяете
> ли вы самостоятельно выходящие версии перед их установкой в пользование?

Целенаправленное тестирование не ведется. Просто новый билд для начала
устанавливается на сервера разработчиков, потом через некоторое время на
некоторые сервера с не очень нагруженными и малокритичными рабочими
базами и т.д. Обычно глюки отлавливаются на первом этапе. Но вообще не
припомню, чтобы новые билды устоявщихся версий приносили новые
критические ошибки.
Сервер Sybase ASA.
Posted via ActualForum NNTP Server 1.2

В принципе, у нас почти так и порисходит.

Вопрос только, что значит "устоявшиеся".

ASA 6 поколбасило в свое время не слабо. Да и 8-ка была долгое время весьма своеобразной.
17 май 05, 10:11    [1546207]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос относящийся ко всем серверам баз данных  [new]
ну я
Member

Откуда: Москва
Сообщений: 1276
У нас примерно то же самое. Сначала проверка на девелоперских, потом на тестерах, потом на боевых. Проверка на прикладухе вживую, специальных тестов нет. Но проверить весь функционал очень тяжело, иногда приходится верить производителю что такие-то баги пофиксили, но проблема в том, что отвалиться может то что давно работало и в самом неожиданном месте. Потом в переписке с саппортов выясняется что это было неожиданностью и для них самих.

Представляет интерес например покупка достойного теста на качество, например вскладчину. И в первую очередь были ли такие прецеденты.
17 май 05, 11:40    [1546682]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос относящийся ко всем серверам баз данных  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 67463
Блог
ну я
Представляет интерес например покупка достойного теста на качество, например вскладчину. И в первую очередь были ли такие прецеденты.

Как Вы это себе представляете?

Просто в качестве примера - переход с Oracle8 на Oracle9 иногда вызывает проблемы со скоростью работы. Нет, не потому что девятка медленнее, наоборот. Потому что хинты, с помощью которых оптимизировались запросы в восьмерке, более развитый оптимизатор девятки толкают на неудачный путь (сходу, к сожалению, не опишу примера - но видел).

Как Вы представляете себе "достойный тест" (универсальный), с помощью которого Вы сможете предсказать, будет ли такая проблема для именно вашей программы?
18 май 05, 13:32    [1551299]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос относящийся ко всем серверам баз данных  [new]
ну я
Member

Откуда: Москва
Сообщений: 1276
softwarer
Как Вы это себе представляете?

В виде очень напоминающем юнит-тесты. Типа запустить некую хрень, которая работает некоторое время и выдает список фич и их случаев на которых происходят проблемы. В приведенном примере с хинтами наверно тоже можно ругнуться если время выполнения заметно отличается от прогнозируемого.
18 май 05, 15:20    [1552048]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос относящийся ко всем серверам баз данных  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 67463
Блог
ну я
В виде очень напоминающем юнит-тесты.

Юнит-тесты, насколько я их понимаю, жестко связаны с "юнитами", которые у каждого свои.

ну я
Типа запустить некую хрень, которая работает некоторое время и выдает список фич и их случаев на которых происходят проблемы.

Хм. В таком виде - можно не программировать никакой хрени. Можно составить таблицу вида "переход откуда - переход куда - какие грозят проблемы".

Вопрос будет в наполнении этой таблицы данными :)

В очень общем виде - можно предположить, что Вы предлагаете создать некое "универсальное тестовое приложение", которое будет выполнять "типичные операции" и смотреть, как они будут выполняться на том и на другом сервере. К возможностям такового, если честно, я отношусь с большим скепсисом. Достаточно посмотреть, сколько споров и трактовок вызывают любые аппаратные тесты - хотя их "набор типичных операций" и рядом не стоял с разнообразием и детализацией задач, решаемых БД.

Да, безусловно, даже в самом худшем случае такое приложение сможет предупредить о каких-то проблемах. Но вопрос-то стоит иначе - необходимо плотно протестировать и более-менее убедиться в отсутствии проблем! Реально достичь этого, боюсь, очень трудно, а потому - все равно понадобятся все те же этапы "тестирования на кошках".
18 май 05, 16:08    [1552275]     Ответить | Цитировать Сообщить модератору
 Re: Вопрос относящийся ко всем серверам баз данных  [new]
ну я
Member

Откуда: Москва
Сообщений: 1276
softwarer
Да, безусловно, даже в самом худшем случае такое приложение сможет предупредить о каких-то проблемах. Но вопрос-то стоит иначе - необходимо плотно протестировать и более-менее убедиться в отсутствии проблем! Реально достичь этого, боюсь, очень трудно, а потому - все равно понадобятся все те же этапы "тестирования на кошках".

В том-то и вопрос. Было бы просто - давно бы было сделано.
У юнит-тестов есть либо полная имплементация, но тогда это суперская весчь, и за нее денег не жалко, либо неполная, но тогда это самообман и создание иллюзий.

Вот и спросил, были ли у кого прецеденты...
18 май 05, 16:45    [1552472]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить