Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Firebird, InterBase Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Forced Write = Off  [new]
Sol87
Member

Откуда:
Сообщений: 13
Всем привет. Народ подскажите, у меня высокая интенсивность запросов на вставку и обновление данных в БД Firebird 2.5 64-bit Classic и думаю установить режим Forced Writes у базы данных в OFF, прочитал, что это увеличит скорость операций записи до 3х раз. Кто нибудь пробовал отключать Forced Write?
13 сен 17, 11:23    [20792236]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 7276
Sol87,

ну если тебе плевать на сохранность БД можешь отключить.
Если нет надо искать другие пути оптимизации
13 сен 17, 11:27    [20792248]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 7676
Sol87
Кто нибудь пробовал отключать Forced Write?
Да, пробовали так делать на паре филиалов, да работает заметно быстрее, насколько быстрее зависит от многих критериев. Да, в случае проблем с электричеством база рушится, и это тоже бывало. Но т.к. база филиальная,то она в принципе восстанавливается из центра, и, да восстанавливали. Нивелируется включением райтбэк кэширования на рэйд контроллере, это безопасно, но требуется соотв. оборудование.

Поэтому общая рекомендация для тестовых БД и баз чисто хранимых агрегатов можно сделать асинхронную запись, для продакшн баз только синхронная запись и рэйд массив скорострельный, который может "пораскинуть своими мозгами" и писать отложенно.
13 сен 17, 11:42    [20792293]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 1495
Sol87
Всем привет. Народ подскажите, у меня высокая интенсивность запросов на вставку и обновление данных в БД Firebird 2.5 64-bit Classic и думаю установить режим Forced Writes у базы данных в OFF, прочитал, что это увеличит скорость операций записи до 3х раз. Кто нибудь пробовал отключать Forced Write?
Если сервер на ИБП с надлежащим обслуживанием, проблем быть не должно.
13 сен 17, 11:51    [20792321]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Sol87
Member

Откуда:
Сообщений: 13
rdb_dev, допустим стоит соответствующий ИБП, если я отключу Forced Writes, то измененные страницы находятся в кэше операционной системы до тех пор, пока операционная система не решит записать их на диск. Может же быть такое, что при непрерывной работе с БД операционная система может не сбрасывать измененные страницы на диск до тех пор, пока все пользователи не отсоединяться от базы данных. Каким то образом можно проконтролировать процесс записи на диск?
13 сен 17, 12:01    [20792349]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 57222
Может быть что угодно. Проконтролировать нельзя.

Posted via ActualForum NNTP Server 1.5

13 сен 17, 12:08    [20792357]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 57222
Вернее, повлиять можно (через конфиги MaxUnflushed*),
но проконтролировать всё равно нельзя, AFAIU.

Posted via ActualForum NNTP Server 1.5

13 сен 17, 12:10    [20792362]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 1495
Sol87
Каким то образом можно проконтролировать процесс записи на диск?
Зачем тебе это контролировать?
13 сен 17, 12:14    [20792371]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Sol87
Member

Откуда:
Сообщений: 13
rdb_dev, ну или можно настроить, чтобы данные записывались на диск в определенное время, или через какой то промежуток времени.
13 сен 17, 12:18    [20792385]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Гаджимурадов Рустам
Member

Откуда:
Сообщений: 57222
Sol87> настроить, чтобы данные записывались на диск
Sol87> в определенное время, или через какой то промежуток времени.

Я как раз выше подсказал соотв. опции в конфиге.
Можно настраивать время и/или количество.

Posted via ActualForum NNTP Server 1.5

13 сен 17, 12:24    [20792410]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Граур Станислав
Member

Откуда:
Сообщений: 871
Sol87
Всем привет. Народ подскажите, у меня высокая интенсивность запросов на вставку и обновление данных в БД Firebird 2.5 64-bit Classic и думаю установить режим Forced Writes у базы данных в OFF, прочитал, что это увеличит скорость операций записи до 3х раз. Кто нибудь пробовал отключать Forced Write?


Лучше напиши, что за интенсивность (сколько запросов в минуту) и что за оборудование, какая дисковая подсистема.
Каждый запрос в своей транзакции? или пачками?
Параметры в запросах используются?
и т.п. и т.д.
13 сен 17, 12:26    [20792417]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Sol87
Member

Откуда:
Сообщений: 13
Гаджимурадов Рустам, sorry, не сразу увидел Вашу запись.
13 сен 17, 12:29    [20792434]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 1495
Sol87
rdb_dev, ну или можно настроить, чтобы данные записывались на диск в определенное время, или через какой то промежуток времени.
И что тебе это даст? Занафига эти пляски?
13 сен 17, 12:49    [20792498]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 7676
rdb_dev
Если сервер на ИБП с надлежащим обслуживанием, проблем быть не должно.
Проблемы будут. Как вариант(было у нас): сервер работает, электричество тухнет, он какое-то время трудится, срабатывает автоматика, сервер получает команду по шнурику ИБП-Сервер и корректно гаснет. Появляется свет, но батареи еще не набрали полностью заряд, но сервер уже стартанул, свет снова тухнет и таймаута уже не хватает, чтобы погаснуть корректно. Привет кирдыкнутая база.

Хочется гарантированного результата, то только синхронная запись на уровне файрберда, писать асинхронно можно "глубже" на уровне рэйда, там для этого предусмотрено все, что требуется для безопасной работы.
13 сен 17, 13:43    [20792744]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
WildSery
Member

Откуда: да, оттуда.
Сообщений: 12826
Ivan_Pisarevsky
он какое-то время трудится
Вот это лишнее.
13 сен 17, 14:43    [20792940]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 1495
Ivan_Pisarevsky
rdb_dev
Если сервер на ИБП с надлежащим обслуживанием, проблем быть не должно.
Проблемы будут. Как вариант(было у нас): сервер работает, электричество тухнет, он какое-то время трудится, срабатывает автоматика, сервер получает команду по шнурику ИБП-Сервер и корректно гаснет. Появляется свет, но батареи еще не набрали полностью заряд, но сервер уже стартанул, свет снова тухнет и таймаута уже не хватает, чтобы погаснуть корректно. Привет кирдыкнутая база.
Ваш ИБП, скорее всего, был недонастроен. У меня даже на домашнем APC Smart-UPS SUA1000I есть настройка ИБП, задающая процент заряда батарей, при котором ИБП подает выходное напряжение при возобновлении входного напряжения. Доберусь до дома, могу глянуть подробней.
13 сен 17, 16:27    [20793268]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 7676
WildSery
Ivan_Pisarevsky
он какое-то время трудится
Вот это лишнее.
Предлагаешь на каждое пропадание света на минуту тут же всех гасить? А работать когда? Свет у нас моргает регулярно и УПСы по рабочим местам не просто так, 9 из 10 таких морганий не приводят к остановкам в работе.

rdb_dev
Ваш ИБП, скорее всего, был недонастроен. У меня даже на домашнем APC Smart-UPS SUA1000I есть настройка ИБП, задающая процент заряда батарей, при котором ИБП подает выходное напряжение при возобновлении входного напряжения. Доберусь до дома, могу глянуть подробней.
Это надо бы админа озадачить, не исключено, кстати.
13 сен 17, 17:32    [20793503]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 1495
Ivan_Pisarevsky,
+ Power Failure settings for APC Smart-UPS
Картинка с другого сайта.


Модератор: Вложение удалено.
13 сен 17, 19:04    [20793742]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
S.G.
Member

Откуда: cartoon network
Сообщений: 27109
Sol87
Всем привет. Народ подскажите, у меня высокая интенсивность запросов на вставку и обновление данных в БД Firebird 2.5 64-bit Classic и думаю установить режим Forced Writes у базы данных в OFF, прочитал, что это увеличит скорость операций записи до 3х раз. Кто нибудь пробовал отключать Forced Write?
если сделать рейд из SSD, скорость увеличится во много больше раз, при меньшем риске.
13 сен 17, 22:53    [20794123]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
WildSery
Member

Откуда: да, оттуда.
Сообщений: 12826
Ivan_Pisarevsky
Предлагаешь на каждое пропадание света на минуту тут же всех гасить? А работать когда? Свет у нас моргает регулярно и УПСы по рабочим местам не просто так, 9 из 10 таких морганий не приводят к остановкам в работе.
Здесь считать надо, сколько держит ИБП всего, сколько времени занимает шатдаун/старт сервера, сколько времени занимает зарядка ИБП.

Если время старт-стоп сервера относительно невелико, зарядка ИБП медленная, а свет тухнет часто, то да, через пару минут гасить. Поскольку 5 старт-стопов отнимут меньше времени, чем работа сервера на 10 минут дольше, но потом ожидание зарядки ИБП до приемлемого уровня.
14 сен 17, 09:52    [20794612]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 5229
NTFS
To ensure that the right amount of flushing occurs, the cache manager spawns a process every second called a lazy writer. The lazy writer process queues one-eighth of the pages that have not been flushed recently to be written to disk.
14 сен 17, 10:47    [20794830]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 26550
Siemargl,

да пофиг. Этот lazy writer иногда застревал, и при крахе ОС у людей пропадало много чего.
Тут ведь основная проблема в том, что при FW=ON ФБ пишет страницы на диск в определенном порядке. А при FW=OFF их пишет на диск ОС, в своем собственном порядке.
Например, в базе распределяется новая страница. На нее пишутся данные, она привязывается к страницам таблицы. После чего страница помечается в PIP как используемая.
То есть, примерно 3 страницы пишутся в базу в определенном порядке. Если в какой-то промежуточный момент нажать кнопку reset, то при FW=ON повреждений в базе не будет (например, orphan pages не считаются повреждением).
А вот если FW=OFF, может произойти такое - в кэш ОС уехало 3 страницы - PP, DP, PIP. Первой записалась измененная PIP, потом PP. И тут нажали reset. Результат - страницы нет, а она помечена как используемая.
В принципе, не катастрофа, но может быть и гораздо хуже.

Однако, FW=ON все равно не является гарантией. Например, кэш дискового контроллера может иметь свои представления о том, в каком порядке что писать.
А при сбоях SSD вообще ничего не поможет. Вот недавно в ремонт сообщили про базу в 25 гиг, в которой осталось только 7% полезной информации, остальное было занулено или испорчено.
К сожалению, не знаю, был там raid из ssd, или нет, и вообще что произошло.
14 сен 17, 11:18    [20794968]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Sol87
Member

Откуда:
Сообщений: 13
kdv, вообщем надо переходить на PostgreSQL)
26 сен 17, 11:12    [20823019]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 7276
Sol87,

для начала попробуй на Fb 3.0 SS перейти. В 3 раза конечно не увеличится, но прирост будет ощутимый.
26 сен 17, 11:15    [20823047]     Ответить | Цитировать Сообщить модератору
 Re: Forced Write = Off  [new]
WildSery
Member

Откуда: да, оттуда.
Сообщений: 12826
Sol87,

Мы не против, переходи.
26 сен 17, 11:15    [20823048]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Firebird, InterBase Ответить