Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Проектирование БД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5 6   вперед  Ctrl      все
 Re: О хранении картинок в блобах  [new]
fkthat
Member

Откуда:
Сообщений: 2729
Hawkmoon
подожду ответов в метриках

Так-то да, по жизни достали по работе всевозможные "оптимизационные теоретики".
27 май 20, 16:37    [22140652]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
dimonz80
Member

Откуда:
Сообщений: 209
ъъъъъ
dimonz80,

Вы планируете использовать ФС, в которой не бывает фрагментации?



Нет конечно, просто избавиться от "лишнего" уровня фрагментации в таблице БД
27 май 20, 16:44    [22140656]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
ъъъъъ
Member

Откуда:
Сообщений: 797
dimonz80,

спасибо. На стенде уже тестировали новый вариант?
27 май 20, 17:04    [22140682]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
dimonz80
Member

Откуда:
Сообщений: 209
ъъъъъ
dimonz80,

спасибо. На стенде уже тестировали новый вариант?


А чего тестировать-то? Как http сервер файлы из ФС стримит?) даже субъективно видно, что быстрее
27 май 20, 17:27    [22140707]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
ъъъъъ
Member

Откуда:
Сообщений: 797
dimonz80,

а откуда hhtp сервер появился?
27 май 20, 17:36    [22140717]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
dimonz80
Member

Откуда:
Сообщений: 209
ъъъъъ
dimonz80,

а откуда hhtp сервер появился?



3-хзвенка потому что
27 май 20, 17:38    [22140719]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
dimonz80
Member

Откуда:
Сообщений: 209
dimonz80
ъъъъъ
dimonz80,

а откуда hhtp сервер появился?



3-хзвенка потому что


да и кто будет отдавать файлы, которые не в БД
27 май 20, 17:39    [22140720]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
ъъъъъ
Member

Откуда:
Сообщений: 797
dimonz80
dimonz80
пропущено...



3-хзвенка потому что


да и кто будет отдавать файлы, которые не в БД

Ну поди догадайся, что у вас.
27 май 20, 17:42    [22140723]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
hVostt
Member

Откуда:
Сообщений: 17820
ъъъъъ
Расскажите, пожалуйста, о ваших случаях, когда централизованное хранение файлов документов в БД было сделано сперва в blob's, но потом из-за чего-то пришлось переделать на "внешнее" хранение (в файлах/каталогах файловой системы).

О проблемах, который послужили причиной переделки, и какой выигрыш был достигнут в результате.


Я могу найти такое объяснение.

Сначала джун сделал хранение файлов в блобах.
Потом джун по-умнел и начал переделывать.
Или вернулся миддл/сеньёр из опуска, надавал подавану по шапке и заставил переделывать.

По сути.
Файловая система -- это специализированная БД для хранения файлов.
Она максимально соответствует всем требованиям работы с файлами, максимально эффективно это делает и существует овер дохрена инструментов для управления файлами.

СУБД создана для хранения структур данных, возможностей для работы с файлами в ней на порядки меньше, чем у файловой системы.

Выигрыш следует из вышеописанного.

Сообщение было отредактировано: 5 июн 20, 02:51
5 июн 20, 02:50    [22146042]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
fkthat
Member

Откуда:
Сообщений: 2729
hVostt,

Ну если там надо хранить какие-нибудь аватарки 32 на 32 пикселя, то почему бы и нет. И, к тому же, "блоб в БД", как уже упоминали, это не обязательно "блоб в самой БД" - есть ведь всякие сиквельные filestreams, монговские GridFS, или постресовские Large Objects.
5 июн 20, 05:45    [22146066]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
ъъъъъ
Member

Откуда:
Сообщений: 797
hVostt
ъъъъъ
Расскажите, пожалуйста, о ваших случаях, когда централизованное хранение файлов документов в БД было сделано сперва в blob's, но потом из-за чего-то пришлось переделать на "внешнее" хранение (в файлах/каталогах файловой системы).

О проблемах, который послужили причиной переделки, и какой выигрыш был достигнут в результате.


Я могу найти такое объяснение.

Сначала джун сделал хранение файлов в блобах.
Потом джун по-умнел и начал переделывать.
Или вернулся миддл/сеньёр из опуска, надавал подавану по шапке и заставил переделывать.

По сути.
Файловая система -- это специализированная БД для хранения файлов.
Она максимально соответствует всем требованиям работы с файлами, максимально эффективно это делает и существует овер дохрена инструментов для управления файлами.

СУБД создана для хранения структур данных, возможностей для работы с файлами в ней на порядки меньше, чем у файловой системы.

Выигрыш следует из вышеописанного.

Попробуйте сосредоточиться на вопросе, заданном в стартовом сообщении.
5 июн 20, 08:54    [22146118]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
hVostt
Member

Откуда:
Сообщений: 17820
fkthat
hVostt,

Ну если там надо хранить какие-нибудь аватарки 32 на 32 пикселя, то почему бы и нет. И, к тому же, "блоб в БД", как уже упоминали, это не обязательно "блоб в самой БД" - есть ведь всякие сиквельные filestreams, монговские GridFS, или постресовские Large Objects.


Это всё понятно :)
Конечно можно, в таком кейсе оно вроде как не выглядит проблемным.
Но опять же. Файловая система -- это уже база данных файлов.
Ни один GirdFS не дотягивает до FS как по возможностям, так и по скорости работы.
5 июн 20, 10:42    [22146214]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
hVostt
Member

Откуда:
Сообщений: 17820
ъъъъъ
Попробуйте сосредоточиться на вопросе, заданном в стартовом сообщении.


Вопрос из разряда.

Какой выигрыш был достигнут, когда что-то делали не самым подходящим инструментом, а потом переделали и стали использовать подходящий.

Вот раньше вы забивали гвозди пассатижами. А потом, наконец, взяли молоток. Ну и чо? На сколько процентов увеличилась производительность?

Я даже не понимаю кто всерьёз это будет оценивать.

Клеили на сопли, потом стали клеить на клей. Расскажите, какой выигрыш был достигнут?

Вы бы почитали обсуждения по этой теме, где все-все-все проблемы вам вдоль и поперёк раскрываются.
5 июн 20, 10:46    [22146218]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
ъъъъъ
Member

Откуда:
Сообщений: 797
hVostt,

если вам не нравится вопрос - это другое дело. Можете пожаловаться модератору.

Я не спрашивал о том, как лучше хранить картинки.

Зачем вы заливаете тему рассуждениями, не связанными с заданным вопросом?
5 июн 20, 11:49    [22146270]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
Дмитрий Мух
Member

Откуда: Зеленоград
Сообщений: 3657
ъъъъъ
Интересны случаи перехода с одной архитектуры на другую, причины перехода и достигнутые результаты.

У меня тут назревает переход с "внешнее" хранение (в файлах/каталогах файловой системы) на куда-то в облако.
Необходимо выбрать (придумать) это самое облачное решение.
5 июн 20, 14:31    [22146390]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
hVostt
Member

Откуда:
Сообщений: 17820
ъъъъъ
hVostt,

если вам не нравится вопрос - это другое дело. Можете пожаловаться модератору.

Я не спрашивал о том, как лучше хранить картинки.

Зачем вы заливаете тему рассуждениями, не связанными с заданным вопросом?


Считаю, что напрямую связаны. Если вы так не считаете, можете пожаловаться модератору.

Почему у вас возник такой вопрос? Не с потолка же, правда? Но вы не делитесь информацией, возникли ли у вас проблемы, или у вас возник спор с коллегами. Просто просите конкретные результаты, понятно что в цифрах. Я бы мог поделиться информацией.

Но какой у вас вопрос, такой и ответ.
5 июн 20, 17:12    [22146517]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
Relic Hunter
Member

Откуда: AB
Сообщений: 7318
Кратко по теме: мне всё равно кто и где хранит картинки.
5 июн 20, 18:17    [22146551]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
hVostt
Member

Откуда:
Сообщений: 17820
Relic Hunter
Кратко по теме: мне всё равно кто и где хранит картинки.


Непонятно, почему всё свелось к картинкам :)
Ведь говорилось о документах.
6 июн 20, 01:55    [22146733]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
bochkov
Member

Откуда: Камчатка
Сообщений: 4079
ъъъъъ
Расскажите, пожалуйста, о ваших случаях, когда централизованное хранение файлов документов в БД было сделано сперва в blob's, но потом из-за чего-то пришлось переделать на "внешнее" хранение (в файлах/каталогах файловой системы).

О проблемах, который послужили причиной переделки, и какой выигрыш был достигнут в результате.

был у нас проект
сперва документы в файлах хранили а в таблице ссылки на них
трудно поддерживать, особенно если забываешь со временем, что и как устроено
то файлы потеряются, то ссылка в никуда
потом отказались, все в базе хранить стали
а чуть по позже все файлы свалил в одну таблицу
потому что бэкап делать удобнее
27 июн 20, 12:44    [22158175]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
Алексей Роза
Member [заблокирован]

Откуда: РФ
Сообщений: 414
ъъъъъ
Расскажите, пожалуйста, о ваших случаях, когда централизованное хранение файлов документов в БД было сделано сперва в blob's, но потом из-за чего-то пришлось переделать на "внешнее" хранение (в файлах/каталогах файловой системы).

О проблемах, который послужили причиной переделки, и какой выигрыш был достигнут в результате.

facebook оптимизировали свой сервис после возросшей нагрузки:

Кэширование более часто используемых миниатюр изображений в памяти на оригинальных серверах для масштабируемости, надежности и производительности
Распределение их по CDN для уменьшения сетевых задержек
Возможно сделать еще лучше:
Хранение изображений в больших бинарных файлах (blob)
Сервис, отвечающий за фотографии имеет информацию о том, в каком файле и с каким отступом от начала расположена каждая фотография (по ее идентификатору)
Этот сервис в Facebook называется Haystack и он оказался в 10 раз эффективнее «простого» подхода и в 3 раза эффективнее «оптимизированного»



Архитектура хранения и отдачи фотографий в Badoo / Артем Денисов (Badoo)
ресайзинг и ватермарки - исключительно на лету, потому что потом, когда надо будет поменять, будешь рвать на себе волосы. По CPU там мелочь, по сравнению с I/O.
27 июн 20, 14:17    [22158222]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
ъъъъъ
Member

Откуда:
Сообщений: 797
bochkov
ъъъъъ
Расскажите, пожалуйста, о ваших случаях, когда централизованное хранение файлов документов в БД было сделано сперва в blob's, но потом из-за чего-то пришлось переделать на "внешнее" хранение (в файлах/каталогах файловой системы).

О проблемах, который послужили причиной переделки, и какой выигрыш был достигнут в результате.

был у нас проект
сперва документы в файлах хранили а в таблице ссылки на них
трудно поддерживать, особенно если забываешь со временем, что и как устроено
то файлы потеряются, то ссылка в никуда
потом отказались, все в базе хранить стали
а чуть по позже все файлы свалил в одну таблицу
потому что бэкап делать удобнее


Ну, случаи перехода "файлы" - > "блобы" мне известны, также известны причины и какие плюшки получили.

Я про обратные случаи спрашивал.
28 июн 20, 00:13    [22158446]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
miksoft
Member

Откуда:
Сообщений: 38439
ъъъъъ
Расскажите, пожалуйста, о ваших случаях, когда централизованное хранение файлов документов в БД было сделано сперва в blob's, но потом из-за чего-то пришлось переделать на "внешнее" хранение (в файлах/каталогах файловой системы).

О проблемах, который послужили причиной переделки, и какой выигрыш был достигнут в результате.
Переделывали для полуавтономных рабочих мест только для того, чтобы вписаться в лимиты на размер БД в Oracle XE.
Выигрыш - вписались в лимиты Oracle XE.
Проигрыш - лишний гемор при программировании репликации с основного сервера на эти рабочие места и увеличение времени генерации нового места, т.к. миллион маленьких файлов копируется ощутимо дольше одного большого даже на SSD.
28 июн 20, 00:24    [22158454]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
hVostt
Member

Откуда:
Сообщений: 17820
bochkov
потому что бэкап делать удобнее


что может быть проще и удобнее rsync?
28 июн 20, 00:25    [22158455]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
miksoft
Member

Откуда:
Сообщений: 38439
hVostt
что может быть проще и удобнее rsync?
отсутствие rsync-а.
28 июн 20, 00:27    [22158456]     Ответить | Цитировать Сообщить модератору
 Re: О хранении картинок в блобах  [new]
hVostt
Member

Откуда:
Сообщений: 17820
miksoft
hVostt
что может быть проще и удобнее rsync?
отсутствие rsync-а.


религия не позволяет? )
28 июн 20, 00:28    [22158457]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5 6   вперед  Ctrl      все
Все форумы / Проектирование БД Ответить