Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Кубик-рубик
Guest
Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов. Размер данных 0,5 Тб - 10 Тб.
Нужно хранить файлы размером до 1 Мб в BLOB, в среднем по 100 Кб. К каждой записи с файлом будут привязаны атрибуты. Соответственно будет таблица-справочник значений атрибутов. Будет детальная таблица для каждой записи с BLOB. Будет что-нибудь еще, но это уже не касается основного вопроса.
Есть приложение, которое будет заливать данные в БД, всего один клиент, только вставки, никаких удалений или обновлений. Массовые удаления - только по расписанию.
Интересует быстрый поиск по атрибутам в этой таблице и доставание соответствующего BLOB. При запросе возможно соединение с этой детальной таблицей. Также интересует инкрементальный бэкап. Количество одновременных запросов – в пике до 50 шт./сек.. Работать это будет через сервер приложения с интерфейсом через ASP.Net, запросы будут ставиться в очередь приложением при невозможности ответа сразу.

Первоначально упал взгляд на Firebird 2.1/2.5. Потянет ли? не видел примеров баз такого объема, правда тут большей частью BLOB'ы. Или какая-то другая субд?
18 сен 11, 21:08    [11295466]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Кубик-рубик
Guest
Кубик-рубик
Размер данных 0,5 Тб - 10 Тб.

т.е. размер БД
18 сен 11, 21:09    [11295469]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54768

Кубик-рубик
Первоначально упал взгляд на Firebird 2.1/2.5. Потянет ли? не видел примеров баз такого объема

А куда смотрел? http://ibase.ru/devinfo/fb1tb.htm

Posted via ActualForum NNTP Server 1.4

18 сен 11, 21:48    [11295563]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Программист-Любитель
Member

Откуда:
Сообщений: 16851
В общем-то так и храню. Даже не просто блобы а еще злее - оле, штоб показывать содержимое файла на форме и активация одним щелчком безо всякого кодирования.

Таблица с блобами-олями - в отдельной бд. Все остальное - в другой. Форма, показывающая файл - читает запрос сидящий на всех нужных таблицах. Все остальные формы - сидят на запросах НЕ читающих таблицу с блобами. Все работает весело и шустренько на слабом сервере. Мощность данных небольшая - до десяти тыщ записей в таблице с блобами.

База - MS SQL 2005.
18 сен 11, 22:43    [11295674]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54768

Программист-Любитель
База - MS SQL 2005.

И давно он стал бесплатным?..

Posted via ActualForum NNTP Server 1.4

18 сен 11, 22:56    [11295694]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
Dimitry Sibiryakov
Программист-Любитель
База - MS SQL 2005.

И давно он стал бесплатным?..

Экспресс - всегда
19 сен 11, 01:45    [11295904]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Кубик-рубик
Guest
Dimitry Sibiryakov
Кубик-рубик
Первоначально упал взгляд на Firebird 2.1/2.5. Потянет ли? не видел примеров баз такого объема

А куда смотрел? http://ibase.ru/devinfo/fb1tb.htm

10 Тб - все ж больше, чем приведенный пример.
19 сен 11, 07:19    [11295988]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
miwaonline
Member

Откуда:
Сообщений: 2249
locky
Dimitry Sibiryakov
пропущено...

И давно он стал бесплатным?..

Экспресс - всегда


Даже для терабайтных БД?

Кубик-рубик
Dimitry Sibiryakov
пропущено...

А куда смотрел? http://ibase.ru/devinfo/fb1tb.htm

10 Тб - все ж больше, чем приведенный пример.

В данном случае принципиальной разницы нет.
19 сен 11, 08:49    [11296089]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
miwaonline
locky
пропущено...

Экспресс - всегда


Даже для терабайтных БД?


Как я понял "террабайты" - там блобы
Надо уточнить - входит ли файлстрим в предельные размеры БД в экспрессе, или не входит
Если не входит - то не вижу причин не использовать
19 сен 11, 10:26    [11296429]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

On 18.09.2011 22:08, Кубик-рубик wrote:

> Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними
> атрибутов. Размер данных 0,5 Тб - 10 Тб.

Для хранения блобов СУБД не нужна вообще никакая.
Это не задача СУБД -- хранить. Задача СУБД -- обрабатывать. Блобы СУБД
обрабатывать обычно почти никак не умеет.
Так что если тебе нужно хранить блобы, храни их просто на диске, а
в БД храни их атрибуты и ссылку на место хранения.

Posted via ActualForum NNTP Server 1.4

19 сен 11, 11:26    [11296808]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6633
MasterZiv,

Именно. И MSSQL filestream - лучший вариант.

MSDN
SQL Server Express

SQL Server Express supports FILESTREAM. The 4-GB database size limit does not include the FILESTREAM data container.
19 сен 11, 12:07    [11297187]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30242
Кубик-рубик
10 Тб - все ж больше, чем приведенный пример.

приведенный пример - голые данные. с блобами и 10тб - фигня. Другой вопрос - про резервные копии, причем независимо от выбранной субд.

MasterZiv
Это не задача СУБД -- хранить. Задача СУБД -- обрабатывать. Блобы СУБД
обрабатывать обычно почти никак не умеет.

скажем так - хранение блобов в базе тоже может быть осмысленным. Если нужна целостность (транзакционность) на изменения, хранение всего в одном месте, и т.д.

Однако, топики, хранить "файлы" в базе или снаружи, появляются регулярно. например
https://www.sql.ru/forum/actualthread.aspx?tid=822610
https://www.sql.ru/forum/actualthread.aspx?tid=863365
https://www.sql.ru/forum/actualthread.aspx?tid=841036

(лучше прочитать хотя бы первую ссылку). imho, самое главное неудобство "блобы в базе" при как раз вот таких терабайтных размерах, т.к. возникают проблемы с резервным копированием (и восстановлением). Файлы такого объема бэкапить проще, хотя по скорости почти так же.
19 сен 11, 13:51    [11298268]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
в чем сложность
Guest
kdv
Файлы такого объема бэкапить проще, хотя по скорости почти так же.

Так если по скорости так же то в чем сложность бэкапов?
19 сен 11, 13:55    [11298340]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30242
в чем сложность
Так если по скорости так же то в чем сложность бэкапов?

сложность в том, что файлы это файлы, и их можно бэкапить любым средством, включая средства ОС, бэкапы дисков, и прочее, в т.ч. во время работы - это будет не фатально.
С базой сложнее тем, что в ФБ это 1 файл, и даже скопировать 2-3 терабайтный файл - недетское развлечение. Штатный backup/restore FB на таком объеме уже не будет иметь смысла, нужно использовать инкрементный nbackup.
Я, собственно, про то, что средства разные, и к ним нужен разный подход. Основной вопрос к базе, состоящей на 99.999% из блобов - зачем такая база нужна, чем не устроило хранить в базе ссылки на файлы.
19 сен 11, 16:32    [11299743]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Кубик-рубик
Guest
kdv, нужна простота работы программиста, чтобы не писать лишний код.
А как насчет PostgreSQL?
21 сен 11, 07:29    [11309340]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
mayton
Member

Откуда: loopback
Сообщений: 52927
Подойдет любая бесплатная СУБД с поддержкой ссылок на файлы.
Почти все из них поддерживают "быстрый поиск по атрибутам в этой таблице"
а "доставание соответствующего BLOB" можно реализовать бесконечным
количеством способов. Даже публикация его через http не будет
антипаттерном.

Инкрементальный бэкап блобов это очень странная постановка.
Здесь можно было-бы уточнить как меняются блобы. Если просто
пересоздаются заново как XML документы то нормальным вариантом
был-бы бэкап изменившихся после полного.

Вобщем надо конкретизировать задание (пока сюда не пришёл один
чел и не посоветовал вам заюзать свою СУБД с ну очень быстрым
откликом).
26 сен 11, 15:17    [11336384]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Dako aka 3L33T
Member

Откуда:
Сообщений: 98
Oracle berkeley db
29 сен 11, 10:26    [11352869]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Favn
Member

Откуда:
Сообщений: 585
mayton
Подойдет любая бесплатная СУБД с поддержкой ссылок на файлы.
Оно конечно да. Если допустима не очень транзакционная (или не версионная) работа с блобами. И тот же бэкап, блокирующий писателей.
mayton
Инкрементальный бэкап блобов это очень странная постановка.
Здесь можно было-бы уточнить как меняются блобы. Если просто пересоздаются заново как XML документы то нормальным вариантом был-бы бэкап изменившихся после полного.
Вообще-то не везде XML (которые не везде блобы) пересоздаются при изменении. В DB2, например, они именно частично изменяются при работе через XQuery.
А постановка вполне нормальная. Разве бэкап изменившихся не есть инкрементный бэкап? Проще юзать его, чем файловую помойку.
mayton
Вобщем надо конкретизировать задание
Золотые слова.
29 сен 11, 16:35    [11356708]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Favn
Member

Откуда:
Сообщений: 585
Кубик-рубик
kdv, нужна простота работы программиста, чтобы не писать лишний код.
А как насчет PostgreSQL?
В этом варианте упретесь в непростое, скажем так, администрирование. Пригляда требует.
Если нужен именно сервер и именно с блобами внутри БД и инкрементным неблокирующим бекапом - посмотрите на DB2 Express-C.
Правда, лучше диск по логи и диск под блобы отдельно, если скорость нужна.
В Вашем варианте настраивать ничего не надо - мышетырканием поставить, блобы на отдельный таблеспейс, управление на автомат и забыли.
Ну, логи указать куда архивировать. Или циклические включить.
29 сен 11, 16:50    [11356829]     Ответить | Цитировать Сообщить модератору
 Re: Нужна бесплатная СУБД для хранения двоичных объектов (BLOB) и связанных с ними атрибутов.  [new]
Alexey Kuznetsov
Member

Откуда: Krasnoyarsk
Сообщений: 1141
Favn,

поддерживаю за DB2-Express. Можно и на винде и на линухе поднять. На размер БД нет ограничений, в отличие от MS & ORA.
И как было грамотно подмечено - зарулить тейблспейсы грамотно и все будет пучком.
30 сен 11, 11:47    [11360807]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить