Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
crutchmaster
Надфиль
ни вижу никаких проблем.

Это странно. Вроде как ТС их уже обозначил.

ТС обозначил свои затруднения, а не проблемы с хранением лобов в БД.

crutchmaster

Надфиль
ага и получи нервный срыв пытаясь это администрировать)))

Что там админить? Файлы лежат себе спокойно на http сервачке и никого не трогают.

Админы делятся на две категории: тех, которые уже делают бэкапы и тех, которые ещё не делают...
30 июн 20, 11:16    [22159511]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1391
andrey_anonymous
Админы делятся на две категории: тех, которые уже делают бэкапы и тех, которые ещё не делают...

Ага, типа блобы бекапить будет проще.

andrey_anonymous
ТС обозначил свои затруднения, а не проблемы с хранением лобов в БД.

Это всё манёвры и виляния.

Сообщение было отредактировано: 30 июн 20, 11:16
30 июн 20, 11:18    [22159513]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
crutchmaster
andrey_anonymous
Админы делятся на две категории: тех, которые уже делают бэкапы и тех, которые ещё не делают...

Ага, типа блобы бекапить будет проще.

Именно.
Как и восстанавливать без потери целостности данных.
30 июн 20, 11:24    [22159519]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1391
andrey_anonymous
Как и восстанавливать без потери целостности данных.

С одной стороны база с кучей ссылок, с другой фс. В каких случаях можно потерять целостность, если есть все бекапы с хешами?
30 июн 20, 11:43    [22159543]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
crutchmaster
andrey_anonymous
Как и восстанавливать без потери целостности данных.

С одной стороны база с кучей ссылок, с другой фс. В каких случаях можно потерять целостность, если есть все бекапы с хешами?

Расскажите для начала о стратегии резервного копирования, обеспечивающего целостность в описанной Вами конструкции - тогда можно будет поговорить.
30 июн 20, 11:59    [22159563]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1391
andrey_anonymous
Расскажите для начала о стратегии резервного копирования, обеспечивающего целостность в описанной Вами конструкции - тогда можно будет поговорить.

Любая фс с COW + бекап/зеркало на такую же. В базе ссылки и хеши файлов (после из записи на фс). Файлы как-то похерить можно только физическим уничтожением рейда, все операции записываются. Сохранность базы - проблема ораклового админа. Валидность данных обеспечивает хеш в бд. Не совпадает хеш? Идешь ковырять историю изменения файла, находишь там, что нужно. Бонусом имеешь историю. Если юзер перепишет файл который ему нужен, то с блобом ты делаешь что? Правильно.

Сообщение было отредактировано: 30 июн 20, 13:01
30 июн 20, 13:01    [22159620]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
crutchmaster
Сохранность базы - проблема ораклового админа.

Угу. И вот ваш датацентр сгорел к бубеням.
В наличии есть диск к бэкапом БД по состоянию "на вчера 21:07:18" + архивные журналы БД до "сегодня 07:26:38"
Еще есть бэкап ФС "на позавчера".
В момент пожара через БД пролетало до 10000 транзакций в сеукунду.
Расскажите, каким образом будем восстанавливать.
"висячие" ссылки, ессно, недопустимы.
30 июн 20, 13:05    [22159624]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
Надфиль
Member

Откуда:
Сообщений: 226
andrey_anonymous,

тем более что блобы из базы Oracle можно представить в виде файловой системы.
https://docs.oracle.com/cd/E11882_01/appdev.112/e18294/adlob_fs.htm#ADLOB45988

а вот наоборот нет))

в общем склонен полагать, блобы можно хранить отдельно, когда по каким то причинам это необходимо.
но среди причин нет "фронт энд не на дельфи".
30 июн 20, 14:18    [22159687]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
Надфиль
когда по каким то причинам это необходимо.

Скорее - "когда блобы ценности не представляют"
30 июн 20, 16:25    [22159802]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
Надфиль
Member

Откуда:
Сообщений: 226
andrey_anonymous

Скорее - "когда блобы ценности не представляют"

или очень большие. видео какое нибудь, например.
30 июн 20, 16:42    [22159824]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1391
andrey_anonymous
Еще есть бэкап ФС "на позавчера".

Нету никакого бекапа. Читай в гугле про cow. Технологии ушли вперед, а ты - нет.
andrey_anonymous
В момент пожара через БД пролетало до 10000 транзакций в сеукунду.

У тебя уже ракл лёг, когда пытался принять 10к docx/сек.
2 июл 20, 04:33    [22160503]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
xtender
Member

Откуда: Мск
Сообщений: 5475
Надфиль
andrey_anonymous,

тем более что блобы из базы Oracle можно представить в виде файловой системы.
https://docs.oracle.com/cd/E11882_01/appdev.112/e18294/adlob_fs.htm#ADLOB45988

а вот наоборот нет))

в общем склонен полагать, блобы можно хранить отдельно, когда по каким то причинам это необходимо.
но среди причин нет "фронт энд не на дельфи".
как это нет? А bfile? И в целом гораздо проще, надежнее, быстрее и дешевле blobы хранить вне базы. И поиск по ним лучше делать без мучительных оракловых индексов, которые замудохаешься траблшутить. Есть полно альтернатив sphinx, elastic search, solr и тд
2 июл 20, 05:17    [22160515]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
crutchmaster
andrey_anonymous
Еще есть бэкап ФС "на позавчера".

Нету никакого бекапа

Твой cow сгорел вместе с датацентром, остается только ловить хайп...
2 июл 20, 10:42    [22160652]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1391
andrey_anonymous
Твой cow сгорел вместе с датацентром

И с твоими блобами. Что сказать хотел?
2 июл 20, 11:22    [22160695]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
crutchmaster
andrey_anonymous
Твой cow сгорел вместе с датацентром

И с твоими блобами. Что сказать хотел?
у "моих" отсталых блобов есть унылый отсталый консистентный бэкап. Поднялись и запустились - никакого хайпа, да...
2 июл 20, 12:00    [22160736]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1391
andrey_anonymous
у "моих" отсталых блобов есть унылый отсталый консистентный бэкап.

А у файлопомоек его нет, ага. Админы эти такие дураки, сидят весь день пиво пьют своё и нихера не делают.
2 июл 20, 12:24    [22160763]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
crutchmaster
Нету никакого бекапа.

crutchmaster
andrey_anonymous
есть унылый отсталый консистентный бэкап.

А у файлопомоек его нет, ага.


Занавес :)
2 июл 20, 13:03    [22160813]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1391
andrey_anonymous
Занавес :)

Никто не бекапит в tar.gz за позавчера. Давно уже есть накопительные бекапы на любой вкус и размер. Это для тебя, походу, кроме ракла с архивлогами во всём мире ничего не существует и никто до такого додуматься не может.

Сообщение было отредактировано: 2 июл 20, 13:07
2 июл 20, 13:09    [22160822]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
Самоопределяйтесь уже.
Либо "никаких бэкапов нет", либо они есть и Вы откроете мне глаза на стратегию резервного копирования и консистентного восстановления системы, хранящей лобы вне БД.
2 июл 20, 13:13    [22160831]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1391
andrey_anonymous
Самоопределяйтесь уже.

Так я определился давно. Это у вас трудности.
2 июл 20, 13:15    [22160838]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
crutchmaster
andrey_anonymous
Самоопределяйтесь уже.

Так я определился давно. Это у вас трудности.

Ну тогда резюме дискуссии:
- Стратегию консистентного резервного копирования и восстановления системы с хранением лобов вне БД Вы предложить не смогли
- Сумели определиться только в том, что у какого-то ника в интернете какие-то трудности и вообще его " ракл лёг, когда пытался принять 10к docx/сек."

Таким образом, предложенная Вами организация системы с хранением лобов вне БД приемлема лишь для неотвественных систем с невысокой ценностью данных, что, вообще говоря, и без этой дискуссии было вполне понятно.
2 июл 20, 14:06    [22160900]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
xtender
Member

Откуда: Мск
Сообщений: 5475
andrey_anonymous,

приведи примеры, когда надо бфайлы/документы откатить назад на момент рухнувшей этой базы? что само по себе уже говорит о ненадежности базы...

зы. cow хранилку с историей построить гораздо легче и она будет надежнее, с любым разнесением чего угодно куда угодно, чем то же самое сделать с базой.
2 июл 20, 14:24    [22160924]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
andrey_anonymous
Member

Откуда: Москва
Сообщений: 18061
xtender
приведи примеры, когда надо бфайлы/документы откатить назад на момент рухнувшей этой базы?

В смысле откатить?
Лишь согласованно восстановить ФС и БД из резервных копий.
Чтобы не было висящих ссылок в БД и лишних файлов в ФС.
До последней сохранившейся зафиксированной транзакции, как мы все любим :)
Варианты с "разрулить рассогласованности" придумать можно, но, как все понимают, это дополнительная работа и усложнение сценариев резервного копирования/тестирования бэкапов и восстановления для админов, увеличение времени восстановления.
2 июл 20, 14:51    [22160951]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
xtender
Member

Откуда: Мск
Сообщений: 5475
andrey_anonymous
согласованно восстановить
не надо будет файлы восстанавливать - они будут в целости и сохранности.

andrey_anonymous
До последней сохранившейся зафиксированной транзакции, как мы все любим :)
нет, мы любим чтобы данные не терялись вообще.

andrey_anonymous
дополнительная работа и усложнение сценариев резервного копирования/тестирования бэкапов и восстановления для админов, увеличение времени восстановления.
хранение файлов в базе - это и есть увеличение времени создания бэкапов и восстановления из них. Вынесение их оттуда - это уменьшение.
2 июл 20, 20:54    [22161207]     Ответить | Цитировать Сообщить модератору
 Re: Влияние размера базы на скорость запросов  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1391
andrey_anonymous
- Стратегию консистентного резервного копирования и восстановления системы с хранением лобов вне БД Вы предложить не смогли

Да я то предложил, а вы начали херню пороть какую-то. Зачем мне что-то вам объяснять? Мне не интересно читать какую еще более нелепую херню вы выдадите.
3 июл 20, 04:00    [22161344]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / Oracle Ответить