Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Firebird, InterBase Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
Всем привет. Использую Firebird Embedded (2.5.9.27139) на Linux(CentOS 7.3). Сама база физически расположена на Raw Device. Основная проблема в том, что при внезапном отключении питания база повреждается. Режим записи в БД синхронный. Из настроек - размер страницы 16К, остальное по умолчанию. Один из вариантов ошибок, которые возникают при работе с поврежденной базой:

Internal error: internal Firebird consistency check (can't continue after bugcheck)


Восстановить базу через gfix/backup/restore возможно, но это не решение, разрабатываемый продукт работает 24/7 и автоматическое и ручное восстановление БД неприемлимо, так как занимает много времени ( + для создания бекапа может не хватить места на дисках в системе).

Неужели современную СУБД можно полностью вывести из строя подобным образом ?. При последнем тесте сломалась одна таблица. через isql-fb при выполнении:

select * from block_list;


8000 записей печается, после чего ошибка :

Statement failed, SQLSTATE = XX000
internal Firebird consistency check (cannot find record back version (291), file: vio.cpp line: 4022)


На этом вывод прекращается. Запрос через C API просто вылетает с этой ошибкой.

Вывод gfix:

[root@525400139211 ~]# gfix -v -full /dev/db
Summary of validation errors

Number of record level errors : 31
16 май 20, 19:40    [22134275]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
И еще второй вопрос - может ли здеь помочь переход на Firebird 3.0 ?
Заранее спасибо.
16 май 20, 19:42    [22134276]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 50343

Найт
Использую Firebird Embedded (2.5.9.27139) на Linux(CentOS 7.3).

"Уже смешно", поскольку такой версии не существует в природе. Embedded - только для Windows.

Найт
Режим записи в БД синхронный.

Можешь это подтвердить выводом "gstat -h"?
И ещё неплохо бы параметры того самого Raw Device.

Найт
Один из вариантов ошибок, которые возникают при работе с поврежденной базой:

Это только одна строчка из полного сообщения, причём наименее интересная.

Найт
Неужели современную СУБД можно полностью вывести из строя подобным образом ?.

Да. Попробуй то же самое проделать с Оракулом, тебе понравится новая Камасутра.

Posted via ActualForum NNTP Server 1.5

16 май 20, 20:04    [22134284]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 8569
Найт
продукт работает 24/7 и автоматическое и ручное восстановление БД неприемлимо, так как занимает много времени
Дельная мысль, только выводы странные. Для 24х7 не годится одиноко стоящий сервер, нужен кластер как минимум из двух нод.
Найт
+ для создания бекапа может не хватить места на дисках в системе
Это просто феерия.
Найт
Неужели современную СУБД можно полностью вывести из строя подобным образом ?.
Да. И не только файрберд. Упс (2шт) онлайновый со шнудочком в ком/усб порт, сдвоенные БП - наше фсё.
Найт
Сама база физически расположена на Raw Device.
Обоснование есть?
16 май 20, 22:06    [22134338]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
DmSer
Member

Откуда: Пенза
Сообщений: 1105
автор
Восстановить базу через gfix/backup/restore возможно, но это не решение, разрабатываемый продукт работает 24/7 и автоматическое и ручное восстановление БД неприемлимо, так как занимает много времени ( + для создания бекапа может не хватить места на дисках в системе).

Неужели современную СУБД можно полностью вывести из строя подобным образом ?. При последнем тесте сломалась одна таблица. через isql-fb при выполнении:


По моему опыту поломать БД не так-то просто. Разумеется, сильно зависит от различных факторов (в том числе и от нагрузки), но разработчики Firebird со свой стороны сделали многое для избежания проблем, возникающих при внезапных отключениях питания.
У нас месяцев 5 назад один клиент перевёл свою сеть АЗС (около 15 АЗК) на наше ПО и купил моноблоки Atol Vivo Smart с Windows 10 IoT 2016. Эти моноблоки все глючат (предположительно из-за Windows), с среднем пару раз в день зависают, приходится кассирам аппаратно их перезагружать. Ничего! 5 месяцев в таком режиме проработали. Ни на одной АЗС база не сдыхала (тьфу тьфу)! Используется Firebird 2.5.8.

В этом плане современные модные NoSQL СУБД вряд ли можно сравнить по надёжности с Firebird при локальной работе на одном компьютере. По скорости - да, они скорее всего быстрее, но по надёжности - вряд ли (но тем не менее как-то разработчики обеспечивают их бесперебойное функционирование).
Недавно попадалась на Хабре статься по ClickHouse - внезапный ресет выводит базу из строя (примерно так). Зато в разы быстрее.
17 май 20, 07:47    [22134415]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Дегтярев Евгений
Member

Откуда: Барнаул
Сообщений: 1891
не понял сравнения fb и clickhouse
17 май 20, 15:58    [22134565]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
DmSer
Member

Откуда: Пенза
Сообщений: 1105
Дегтярев Евгений
не понял сравнения fb и clickhouse


Про быстрее? Так, ляпнул. На Хабре несколько статей было, пишут что штука быстрая, типа круче других nosql СУБД, а тем более быстрее реляционных.
17 май 20, 22:19    [22134688]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Дегтярев Евгений
Member

Откуда: Барнаул
Сообщений: 1891
да тут даже не про быстрее, они вообще разные
18 май 20, 05:42    [22134757]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 3276
Найт
И еще второй вопрос - может ли здеь помочь переход на Firebird 3.0 ?
Заранее спасибо.
Нет!
Здесь поможет только сервер, подключенный к источнику бесперебойного питания, а ещё лучше сервер с блоком питания redundant, подключённый к двум правильно обслуживаемым ИБП.
18 май 20, 09:12    [22134792]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
Dimitry Sibiryakov

"Уже смешно", поскольку такой версии не существует в природе. Embedded - только для Windows.


Ну на оффсайте не пишут что Linux не поддерживает Embedded версию

Dimitry Sibiryakov

Можешь это подтвердить выводом "gstat -h"?
И ещё неплохо бы параметры того самого Raw Device.


Вывод gstat сейчас вот, увы, не могу пока привести. Но могу заверить что при формировании DPB для подлючении к БД никак не указываю isc_dpb_force_write, а по умолчанию он 1.
18 май 20, 12:04    [22134911]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
Ivan_Pisarevsky

Дельная мысль, только выводы странные. Для 24х7 не годится одиноко стоящий сервер, нужен кластер как минимум из двух нод.


Кластеризация в некоторых инсталляциях есть, но Firebird она никак не затрагивает... В минимальной конфигурации - один сервер.

Ivan_Pisarevsky
Да. И не только файрберд. Упс (2шт) онлайновый со шнудочком в ком/усб порт, сдвоенные БП - наше фсё.


УПС первое, что пришло на ум, однако нету физической возможности на всех объектах, где стоит система поставить УПС.

Ivan_Pisarevsky
Обоснование есть?


Изначально предполагалось, что как раз таки файловая система может дать сбой при отключении питания. + почему бы не избежать фрагментации, пораждаемой файловой системой, если Firebird умеет работать с блочными устройствами...
18 май 20, 12:13    [22134921]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 50343

Найт
по умолчанию он 1.

Не на всех версиях и не на всех платформах.

Posted via ActualForum NNTP Server 1.5

18 май 20, 12:14    [22134922]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
DmSer
автор
Восстановить базу через gfix/backup/restore возможно, но это не решение, разрабатываемый продукт работает 24/7 и автоматическое и ручное восстановление БД неприемлимо, так как занимает много времени ( + для создания бекапа может не хватить места на дисках в системе).

Неужели современную СУБД можно полностью вывести из строя подобным образом ?. При последнем тесте сломалась одна таблица. через isql-fb при выполнении:


По моему опыту поломать БД не так-то просто. Разумеется, сильно зависит от различных факторов (в том числе и от нагрузки), но разработчики Firebird со свой стороны сделали многое для избежания проблем, возникающих при внезапных отключениях питания.
У нас месяцев 5 назад один клиент перевёл свою сеть АЗС (около 15 АЗК) на наше ПО и купил моноблоки Atol Vivo Smart с Windows 10 IoT 2016. Эти моноблоки все глючат (предположительно из-за Windows), с среднем пару раз в день зависают, приходится кассирам аппаратно их перезагружать. Ничего! 5 месяцев в таком режиме проработали. Ни на одной АЗС база не сдыхала (тьфу тьфу)! Используется Firebird 2.5.8.

В этом плане современные модные NoSQL СУБД вряд ли можно сравнить по надёжности с Firebird при локальной работе на одном компьютере. По скорости - да, они скорее всего быстрее, но по надёжности - вряд ли (но тем не менее как-то разработчики обеспечивают их бесперебойное функционирование).
Недавно попадалась на Хабре статься по ClickHouse - внезапный ресет выводит базу из строя (примерно так). Зато в разы быстрее.


Воспроизводится ситуация примерно по такому алгоритму. Берем виртуалку, ставим на нее наш софт, что работает с БД (в сущности просто 1 раз в 4 секунды проходит 40-45 транзакций с insert и update, нагрузка детская по идее. В виртуалке выключены все кеши по работе с дисками. И внешний скрипт - который просто убивает виртуалку по рандомному таймеру от 2 до 10 минут. На 1-3 сутки появляется проблема.
18 май 20, 12:17    [22134925]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
Dimitry Sibiryakov

Найт
по умолчанию он 1.

Не на всех версиях и не на всех платформах.


Хм.. неожиданно. Но на деле я оба варианта пробовал. Если ставлю 0 - проблема воспроизводится намного чаще и очень высокая скорость обработки всех запросов. Если оставляю по умолчанию - ощутимое снижение скорости проведения транзакций и проблема сложнее воспроизводится.
18 май 20, 12:19    [22134928]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
Пока примерное рабочее решение, после растарта сервера делать gfix -mend. Удаление поврежденных записей так или иначе дает возможность продолжить работать с базой. Однако, время выполнения данной команды все же несколько смущает (на небольшой базе уже 30 секунд), и врядли она исправит все возможные варианты повреждения базы при отключении питания...
18 май 20, 12:25    [22134932]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 50343

Найт
нету физической возможности на всех объектах, где стоит система поставить УПС.

Значит надо БД-часть системы выносить с этих объектов в лучше контролируемую среду.

Posted via ActualForum NNTP Server 1.5

18 май 20, 12:31    [22134936]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
hvlad
Member

Откуда:
Сообщений: 10954
Найт
В виртуалке выключены все кеши по работе с дисками.
А как VM работает с RAW-device, на котором БД - это настоящий (физический) раздел, или часть образа VM ?
Во втором случае кешированием IO занимается ещё и хост-ОС.

БД на RAW device лишена кеширования и префетча ср-вами файловой системы.
Для CS это весьма заметный удар по производительности.
Для SS тоже, но там можно частично смягчить за счёт собственного большого кеша.

Было ли проведено сравнение "надёжности" RAW device и нормальной файловой системы (не fat и не ext2) ?
18 май 20, 12:47    [22134945]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 8569
Найт
Если оставляю по умолчанию - ощутимое снижение скорости проведения транзакций и проблема сложнее воспроизводится.
У нас просадка по производительности (sinc - asinc режимы) есть только на слабых дисковых. На адатеке с гигом кэша+пара ССД в зеркале просадки нет совсем. Пишите в системные требования УПС и ССД - значительно нивелируете проблему.

Про рав девайсы см коммент Влада. файловый кэш ОСь зело полезная штука, отказываться от нее надо осмысленно. У нас везде ext4.
Есть у нас админ затейник - поставил btrfs под базу - тормоза получили жесточайшие. Отбросили такой вариант как тупиковый еще на этапе тестирования. Виртуалки тоже не жалуем, удобно, но тормозно до жути.
18 май 20, 13:21    [22134967]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
KreatorXXI
Member

Откуда: Москва
Сообщений: 981
Ivan_Pisarevsky
Виртуалки тоже не жалуем, удобно, но тормозно до жути.

А почему виртуалки тормозные? Есть сравнение или ещё что-либо? У нас вообще всё на виртуалках от WMWare. Вот думаю, может быть попросить перевести на физический сервер. Ну или хотя бы для начала аргументированно заявить.
18 май 20, 13:48    [22134989]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
hvlad
Найт
В виртуалке выключены все кеши по работе с дисками.
А как VM работает с RAW-device, на котором БД - это настоящий (физический) раздел, или часть образа VM ?
Во втором случае кешированием IO занимается ещё и хост-ОС.

БД на RAW device лишена кеширования и префетча ср-вами файловой системы.
Для CS это весьма заметный удар по производительности.
Для SS тоже, но там можно частично смягчить за счёт собственного большого кеша.

Было ли проведено сравнение "надёжности" RAW device и нормальной файловой системы (не fat и не ext2) ?


Меня заверяли, что диски настоящие и физические. Снижение производительности очень ощутимое, но у нас задача скорее надежность обеспечить, хоть и как я писал критично быстродействие, но по большей части это не требование, а проблема архитектуры софта в нашем случае...

Про тестирование "надежности" - обязательно проведем для будущих решений, мысль правильная.
18 май 20, 13:50    [22134993]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
Ivan_Pisarevsky
Найт
Если оставляю по умолчанию - ощутимое снижение скорости проведения транзакций и проблема сложнее воспроизводится.
У нас просадка по производительности (sinc - asinc режимы) есть только на слабых дисковых. На адатеке с гигом кэша+пара ССД в зеркале просадки нет совсем. Пишите в системные требования УПС и ССД - значительно нивелируете проблему.

Про рав девайсы см коммент Влада. файловый кэш ОСь зело полезная штука, отказываться от нее надо осмысленно. У нас везде ext4.
Есть у нас админ затейник - поставил btrfs под базу - тормоза получили жесточайшие. Отбросили такой вариант как тупиковый еще на этапе тестирования. Виртуалки тоже не жалуем, удобно, но тормозно до жути.


В последующих решениях УПС и ССД должны быть. В тех инсталляциях, что уже были - ничего этого нету. Более того, физический диск, на котором расположена БД, используется для других сервисов на ввод/вывод, что тоже весьма прискорбно.
18 май 20, 13:53    [22134997]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Ivan_Pisarevsky
Member

Откуда: НН
Сообщений: 8569
KreatorXXI
А почему виртуалки тормозные?
ХЗ, может админ у нас чего намутит, то бтрфс, то зфс, то снапшоты какие... Затейник, блин. По мне так виртуалки должны жить в паре с СХД, на нутряных дисках у нас получалась какая-то хрень, а не виртуалки. СХД у нас нет, видимо поэтому и с виртуалками напряг. Не, для десктопов и тестовых сред используем в полный рост, но не под базы под нагрузкой.
KreatorXXI
Есть сравнение или ещё что-либо?
С железом и там же самым центосом. ставим центос на железку, вливаем базы и оно свистит, ставим тот же комплект в виртуалку с теми же самыми базами - тупит.
В итоге наши сервера стоят на железе и все вполне себе работает.
18 май 20, 17:59    [22135209]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
KreatorXXI
Member

Откуда: Москва
Сообщений: 981
Ivan_Pisarevsky,

Инет первыми ссылками показывает ресурсы, где говорят, что физический быстрее. Но без объяснений причин. И я склоняюсь к тому, что скорее всего всё наоборот. Вот нашёл, например, https://efsol.ru/articles/performance-comparison-1c.html. Старая статья, скорее всего сейчас ещё всё лучше. Ну, вот ещё - https://www.ixbt.com/cpu/virtual2015-winwin.shtml. Здесь всё неоднозначно.
18 май 20, 19:35    [22135267]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28878
KreatorXXI
И я склоняюсь к тому, что скорее всего всё наоборот.

чиронго бурфа грека рака брод
куранго манго и наоборот

наоборот, т.е. виртуальный быстрее физического, не может быть в принципе. В виртуалках проц и память теряют минимум 5%. А диски теряют еще больше, причем, подозреваю, что даже в случае raw. Потому что в виртуале никакого RAW не может быть по определению этого самого виртуала. И всё зависит от драйверов не просто производителя железа, а от производителя виртуалки.

Насчет кэширования у меня есть статья и видео, которая явно показывает, что если бы это был raw-диск, и classic, то это был бы полный кабздец. Как сказал hvlad, выровнять производительность с диском можно было бы на супере 3.0, на здоровенном кэше.
http://www.ibase.ru/files/articles/performance/Firebird Optimizer - ORDER vs SORT.pdf
либо с начала, либо со страницы 15.
У ОС и ФБ кэши выполняют разные задачи. Тем не менее, префетч кэша ОС сильно помогает классику и суперклассику. Если бы не помогало, была бы рекомендация вырубить FileSystemCacheThreshold.

кроме того, у автора топика, обратите внимание
"убивает виртуалку по рандомному таймеру от 2 до 10 минут. На 1-3 сутки появляется проблема. "
в сутках 1440 минут. если ресет идет раз в 10 минут, то это 144 раз. 1 повреждение базы за 144 раз это 0.7%.
Я считаю, что это офигеть как круто.
И напомню, что при инсертах и ресете обычно возникают orphan pages, которые вообще проблемой и повреждением не являются.
Но у автора еще и update, а там - да, "cannot find record back version (291)" вполне может случиться. Но у него - 1 раз на 144 ресетов. Дальнейшие проценты надежности в год предлагаю посчитать самостоятельно (подсказка - 97,445%. дальше там всякое Mean Time Between Failures, Mean Time To Recover и т.д.).

p.s. по мере написания коммента вдруг нашел описание книги "Базы данных. Инжиниринг надежности", заинтересовался. Дальше нашел пост на хабре
https://habr.com/ru/company/piter/blog/493844/
короче, на добър час, или късмет.
18 май 20, 21:03    [22135323]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
WildSery
Member

Откуда: да, оттуда.
Сообщений: 18485
kdv
виртуальный быстрее физического, не может быть в принципе
RAID - он виртуальный, или физический?
А хранилище?
18 май 20, 21:11    [22135328]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28878
WildSery,

объясни мне пожалуйста, как виртуальная ОС может иметь прямой физический доступ к диску (хранилищу) любого уровня.
У виртуалки в любом случае должен быть какой-то драйвер. Да и у ОС для доступа к физическому диску тоже должен быть драйвер (минимальный).
Но если у ОС он минимальный, то у виртуалки это тупо драйвер к гипервизору. а у гипервизора тоже драйвер. Нет?
И у автора
"В виртуалке выключены все кеши по работе с дисками."
Ну да. Как-то я оказывал техподдержку, по такому вопросу (и не раз). В одном случае у рэйда был выключен кэш записи. И запись была на уровне 3мб в секунду. Для сравнения - это в 10 раз медленнее ноутбучного диска sata 1 5400об/мин.
Включили кэш - заработало норм.

Чего люди хотят добиться полностью вырубая кэш и используя raw - я не знаю. У нас тут тоже локальная микро-борьба с некоторыми админами, которые считают, что на ssd "важна скорость последовательного чтения при работе с БД".

Причем, вот эти все идеи просто высосаны из пальца, а подтверждать какими-то тестами или примерами их никто не собирается.
"Credo quia absurdum".
18 май 20, 21:31    [22135336]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
KreatorXXI
Member

Откуда: Москва
Сообщений: 981
В объяснениях указывается на различия VPS и VDS. Якобы первый, да, не может быть быстрее физического, он чистая надстройка. А вот со вторым всё хитрее. Всё на аппаратном уровне, в т.ч. и драйверы. И всё может быть. Я спорить не хочу, не специалист. Судя по Инету устоявшегося мнения нет.
18 май 20, 22:29    [22135376]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28878
KreatorXXI,

я могу только констатировать. часто сталкиваемся с медленной работой дисков под виртуалками. Поскольку управление аппаратными делами где-то глубоко, иногда некие админы реагируют, что-то меняют, и становится лучше, а иногда не меняют, и остается как было.
И что там меняли - х.з.

p.s. и да - у наших клиентов виртуалок на VirtualBox практически нет. Vmware, Zen, винда, и так далее - есть.
Лично у меня на казалось бы обычном десктопе Virtual Box вообще валит систему в bsod при запуске.
18 май 20, 22:42    [22135378]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28878
kdv,

палю контору - вирт. сервера ан масс Hyper-V, KVM, VMWare, Xen, KVM.
остальное - физ. сервера.
никакого, понимаешь, VirtualBox. При том что речь идет о сотнях серверов. Удивительно, правда?
18 май 20, 23:01    [22135388]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 3276
kdv
WildSery,

объясни мне пожалуйста, как виртуальная ОС может иметь прямой физический доступ к диску (хранилищу) любого уровня.
У виртуалки в любом случае должен быть какой-то драйвер. Да и у ОС для доступа к физическому диску тоже должен быть драйвер (минимальный).
VMWare ESXi ?
Она сама себе "операционная система".
18 май 20, 23:25    [22135402]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
WildSery
Member

Откуда: да, оттуда.
Сообщений: 18485
kdv
объясни мне пожалуйста, как виртуальная ОС может иметь прямой физический доступ к диску (хранилищу) любого уровня.
Дело не в том, есть физический доступ или нет.
Некоторые хранилища изначально на виртуалку заточены и оптимизированны, я даже не знаю, можно ли с ними как с обычными "дисками" работать.

Ты же отлично знаешь, что "железно" уже никто и никогда с дисками не работают, сразу после того, как логические адреса появились. Где заканчивается "работа с физическим диском" и начинается "виртуализация"?
18 май 20, 23:46    [22135413]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 28878
WildSery,

ну, мне уже это неинтересно (было бы интересно, раскопал-бы, но я в одно время в этих хранилищах задолбался разбираться, мне надоело).
Суть не в этом. Суть в том, что проблем с производительностью на физических дисках куда меньше чем проблем на виртуальных дисках. И я (например), до сих пор не понимаю, откуда эти проблемы в виртуальных дисках. Явно я вот не вижу объяснений (статей), где бы было изложено типа, "вот были тормоза, мы сделали то и сё, и стало быстро". Извне пока видно только какое-то шаманство.
19 май 20, 00:18    [22135419]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 10263
Для виртуальных машин важен тип устройств - эмулируемые ("подделка" под железо) или синтетические (virtio). Экзотику с пробросом физических устройств в виртуальные машины можно не рассматривать.

Синтетика (virtio) спроектирована так, чтобы минимизировать накладные расходы и оптимизировать передачу данных между виртуальной машиной и хостом. Если очень грубо, то виртуалка просто кладёт/забирает данные из буфера хостовой системы.
Пример "хорошо виртуализированной" виртуалки:
 00:00.0 Host bridge: Intel Corporation 82G33/G31/P35/P31 Express DRAM Controller
00:01.0 VGA compatible controller: Red Hat, Inc. Virtio GPU (rev 01)
00:02.0 Keyboard controller: Red Hat, Inc. Virtio input (rev 01)
00:03.0 USB controller: Red Hat, Inc. QEMU XHCI Host Controller (rev 01)
00:1c.0 PCI bridge: Red Hat, Inc. QEMU PCIe Root port
00:1c.1 PCI bridge: Red Hat, Inc. QEMU PCIe Root port
00:1f.0 ISA bridge: Intel Corporation 82801IB (ICH9) LPC Interface Controller (rev 02)
00:1f.2 SATA controller: Intel Corporation 82801IR/IO/IH (ICH9R/DO/DH) 6 port SATA Controller [AHCI mode] (rev 02)
00:1f.3 SMBus: Intel Corporation 82801I (ICH9 Family) SMBus Controller (rev 02)
01:00.0 Ethernet controller: Red Hat, Inc. Virtio network device (rev 01)
02:00.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI (rev 01)
Но CentOS 6 на таком "железе" не заработает. Хотя, конечно, это может зависеть и от версии QEMU.

Эмулируемое устройство может потребовать копирования память-память. Это быстро, но не бесконечно быстро.
19 май 20, 02:05    [22135439]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 10263
Только я, вроде, терминологию попутал: эмулируемые устройства, как раз, "синтетика", а virtio - паравиртуализация.
19 май 20, 02:35    [22135447]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
fraks
Member

Откуда: Новосибирск
Сообщений: 1588
"Что ж вы так убиваетесь? Вы же так не убьётесь!"
19 май 20, 03:35    [22135452]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
Если кому интересно - тесты показали, что при использовании базы на файловой системе - она не бьется (по крайней мере в тех же условиях тестирования)
21 май 20, 12:03    [22136970]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
WildSery
Member

Откуда: да, оттуда.
Сообщений: 18485
Найт,

На какой, простите, системе? Имеется в виду, что не на RAW, а какая-нибудь банальная NTFS или ext4?
21 май 20, 15:38    [22137114]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Старый плюшевый мишка
Member

Откуда:
Сообщений: 836
WildSery
Найт,

На какой, простите, системе? Имеется в виду, что не на RAW, а какая-нибудь банальная NTFS или ext4?


Имхо имеется в виду что не на виртуалке. Что для меня, ретрограда, само собой разумеется.
21 май 20, 20:08    [22137309]     Ответить | Цитировать Сообщить модератору
 Re: Firebird embedded не выдерживает отключения питания  [new]
Найт
Member

Откуда:
Сообщений: 11
WildSery
Найт,

На какой, простите, системе? Имеется в виду, что не на RAW, а какая-нибудь банальная NTFS или ext4?


На xfs тестировал, вроде все ок.
24 май 20, 19:34    [22138632]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2      [все]
Все форумы / Firebird, InterBase Ответить