Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
Уважаемые! Что посоветуете выбрать в качестве БД для хранения _только_ небольших (100Б - 30Кб) изображений формата JPEG, PNG ?
Данные и требования:
1) большое кол-во изображений: > от сотен тысяч до миллионов
2) возможность обращения к БД из программы написанной на Delphi
3) быстрый поиск/чтение/запись
4) БД хранится в одном файле
5) небольшой размер СУБД (< 1Мб)

Существует что-нибудь подходящее?
1 ноя 07, 13:51    [4865153]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
Забыл уточнить, что база будет храниться на локальном компе, т.е. никакие "клиент-серверные" технологии не нужны :)
1 ноя 07, 14:09    [4865308]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32886

Привет, LiYing!
Ты пишешь:

LiYing
L> Забыл уточнить, что база будет храниться на локальном компе,
L> т.е. никакие "клиент-серверные" технологии не нужны :)
тогда что-нить, типа Jet, или SQLite

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

1 ноя 07, 14:20    [4865386]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
Мимопроходящий

тогда что-нить, типа Jet, или SQLite

Может есть какие специально "заточенные"/оптимизированные под хранение изборажений?
1 ноя 07, 14:25    [4865431]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32886

Привет, LiYing!
Ты пишешь:

LiYing
L> Может есть какие специально
L> "заточенные"/оптимизированные
L> под хранение изборажений?
Picasa2

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

1 ноя 07, 14:31    [4865472]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
Мимопроходящий

Picasa2

Это нечто совсем неподходящее. Мне нужно хранилище для сотен тыс картинок, с возможностью управления им из-под Delphi.....
1 ноя 07, 14:36    [4865508]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54772

LiYing
Мне нужно хранилище

Если бы не ограничение "все в одном файле", то я бы сказал, что лучше ФС
трудно что-то выдумать. Обосновать его (ограничения) необходимость можете?

Posted via ActualForum NNTP Server 1.4

1 ноя 07, 14:51    [4865632]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
Dimitry Sibiryakov

Если бы не ограничение "все в одном файле", то я бы сказал, что лучше ФС
трудно что-то выдумать. Обосновать его (ограничения) необходимость можете?

ФС (NTFS, про FAT32 промолчу) заметно (до минут, зависит от многих праметров, как железа, так и оси) тормозит при открытии папки, в которой несколько десятков тысяч небольших файлов. Какое быстродействие будет при сотнях тысяч, миллионах?
1 ноя 07, 15:02    [4865701]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32886

Привет, LiYing!
Ты пишешь:

LiYing
L> ФС (NTFS, про FAT32 промолчу) заметно тормозит при открытии папки,
L> в которой несколько десятков тысяч небольших файлов.
это не ФС тормозит, а тупорылый эксплорер,
который жаждет сперва всё засосать в лист,
а уж потом...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

1 ноя 07, 15:06    [4865745]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54772

LiYing

тормозит при открытии папки, в которой несколько десятков тысяч
небольших файлов.

Шутите. Тормозит получение полного списка файлов. Открытие одного
конкретного файла - нет, поскольку (ЕМНИП) NTFS организует записи
каталога в виде сортированного дерева. И в любом случае даже на FAT32
достаточно организовать структуру папок вложенности 3-4, чтобы миллионы
файлов разложились мелкими пачками по паре сотен штук на папку.

Posted via ActualForum NNTP Server 1.4

1 ноя 07, 15:07    [4865747]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
Dimitry Sibiryakov

LiYing

тормозит при открытии папки, в которой несколько десятков тысяч
небольших файлов.

Шутите. Тормозит получение полного списка файлов. Открытие одного
конкретного файла - нет, поскольку (ЕМНИП) NTFS организует записи
каталога в виде сортированного дерева. И в любом случае даже на FAT32
достаточно организовать структуру папок вложенности 3-4, чтобы миллионы
файлов разложились мелкими пачками по паре сотен штук на папку.
Posted via ActualForum NNTP Server 1.4


Возможно и так. Но Вы пробовали архивировать или записывать на CD/DVD такое кол-во файлов? Процесс затягивается на часы... вот почему хотелось бы организовать хранилище в одном (ну нескольких) файле....
1 ноя 07, 15:33    [4865962]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54772

LiYing

Но Вы пробовали архивировать или записывать на CD/DVD такое кол-во файлов?

Пробовал. На то и придумали Incremental Backup чтобы не писать все
сразу. Да и не влезут ваши миллионы файлов на DVD.

Posted via ActualForum NNTP Server 1.4

1 ноя 07, 15:41    [4866028]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
Dimitry Sibiryakov

Пробовал. На то и придумали Incremental Backup чтобы не писать все
сразу. Да и не влезут ваши миллионы файлов на DVD.

Я не говорил, что буду писать ВСЮ базу на болванку (это не бэкап).
Давайте не будем отклоняться от первоначальной задачи... Положим, что ФС не уподходит :)
1 ноя 07, 15:57    [4866162]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54772

LiYing
Положим, что ФС не уподходит :)

И совершенно напрасно. В описанных условиях любая СУБД проиграет
ей по производительности. Стало быть ответ стандартный - берите ту СУБД,
которую знаете.

Posted via ActualForum NNTP Server 1.4

1 ноя 07, 16:03    [4866196]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
Dimitry Sibiryakov

И совершенно напрасно. В описанных условиях любая СУБД проиграет
ей по производительности. Стало быть ответ стандартный - берите ту СУБД,
которую знаете.


Я понимаю, что ФС проиграет СУБД...
А что скажете про Berkly DB?
1 ноя 07, 16:11    [4866235]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
MGR
Member

Откуда:
Сообщений: 536
LiYing


Я понимаю, что ФС проиграет СУБД...
А что скажете про Berkly DB?


Совсем даже наоборот!
1 ноя 07, 17:43    [4866883]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
MGR
LiYing


Я понимаю, что ФС проиграет СУБД...
А что скажете про Berkly DB?


Совсем даже наоборот!

И?? Какой СУБД проиграет?
2 ноя 07, 09:16    [4868344]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
DobPilot
Member

Откуда:
Сообщений: 114
LiYing
Уважаемые! Что посоветуете выбрать в качестве БД для хранения _только_ небольших (100Б - 30Кб) изображений формата JPEG, PNG ?
Данные и требования:
1) большое кол-во изображений: > от сотен тысяч до миллионов
2) возможность обращения к БД из программы написанной на Delphi
3) быстрый поиск/чтение/запись
4) БД хранится в одном файле
5) небольшой размер СУБД (< 1Мб)

Существует что-нибудь подходящее?


А не проще свой формат? -) Типа [размер файла1][имя файла1][данные1]...[размер файлаn][имя файлаn][данныеn] + индекс файл к нему [имя_файла1][смещение ведущее к данным1]...[имя_файлаn][смещение ведущее к даннымn]
2 ноя 07, 09:54    [4868549]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
DobPilot
А не проще свой формат? -) Типа [размер файла1][имя файла1][данные1]...[размер файлаn][имя файлаn][данныеn] + индекс файл к нему [имя_файла1][смещение ведущее к данным1]...[имя_файлаn][смещение ведущее к даннымn]

Возможно и проще. Так (принцип) сделано, к примеру, для хранения кэша Google Earth.
Встают проблемы контроля целостности и некоторые другие... решаемо коненчо, но если уже есть готовое решение (ищется), зачем изобретать велосипед? :)
2 ноя 07, 10:43    [4868894]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
МихаилР
Guest
Не знаю каких-либо специализированных решений именно для изображений, но для хранения неструктурированного контента (иначе говоря файлов). есть достаточно много решений.

Из известных мне:
1. Oracle Content DB.
2. Documentum Storage Server (кажется так, но могу немного попутать)
3. Appache JackRabbit (и вообще любые решения для на базе стандарта JCR-170, JCR-283).

У всех свои достоинства и недостатки - выбирайте сами. У первых дывух основной сдерживающий фактор - цена.
2 ноя 07, 11:08    [4869146]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
МихаилР
Не знаю каких-либо специализированных решений именно для изображений, но для хранения неструктурированного контента (иначе говоря файлов). есть достаточно много решений.

Из известных мне:
1. Oracle Content DB.
2. Documentum Storage Server (кажется так, но могу немного попутать)
3. Appache JackRabbit (и вообще любые решения для на базе стандарта JCR-170, JCR-283).

У всех свои достоинства и недостатки - выбирайте сами. У первых дывух основной сдерживающий фактор - цена.

Спасибо. Это хорошие решения, но весьма дорогие и объемные. И слишком функциональные для моей задачи. СУБД нужна однопользовательская.
2 ноя 07, 11:35    [4869387]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
DobPilot
Member

Откуда:
Сообщений: 114
LiYing
DobPilot
А не проще свой формат? -) Типа [размер файла1][имя файла1][данные1]...[размер файлаn][имя файлаn][данныеn] + индекс файл к нему [имя_файла1][смещение ведущее к данным1]...[имя_файлаn][смещение ведущее к даннымn]

Возможно и проще. Так (принцип) сделано, к примеру, для хранения кэша Google Earth.
Встают проблемы контроля целостности и некоторые другие... решаемо коненчо, но если уже есть готовое решение (ищется), зачем изобретать велосипед? :)


А если не секрет конечная цель какова ?

з.ы.
Простое лучше сложного. -)
2 ноя 07, 13:42    [4870321]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
LiYing
Member

Откуда:
Сообщений: 678
DobPilot
А если не секрет конечная цель какова ?

Оперирование (чтение/запись) изображений :) См. программы типа GoogleMV/GoogleV и т.п.
2 ноя 07, 14:30    [4870614]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
DobPilot
Member

Откуда:
Сообщений: 114
LiYing
DobPilot
А если не секрет конечная цель какова ?

Оперирование (чтение/запись) изображений :) См. программы типа GoogleMV/GoogleV и т.п.


ИМХО, я бы выбрал самый простой вариант, в хранить данные в своем формате, описанном выше (только если это карта, делал бы индексацию по широте и долготе). -) На реализацию core, потратил бы один ман дей, ибо все в данном случае просто -)
2 ноя 07, 15:47    [4871188]     Ответить | Цитировать Сообщить модератору
 Re: БД для изображений  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54772

DobPilot

На реализацию core, потратил бы один ман дей, ибо
все в данном случае просто -)

Даже удаление отдельных картинок и повторное использование места внутри
многогигабайтного файла? Что-то мне сомнительно, что автор справится...

Posted via ActualForum NNTP Server 1.4

2 ноя 07, 15:52    [4871237]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить