Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 СУБД для хранения снимков  [new]
witte
Member

Откуда:
Сообщений: 451
Подскажите СУБД для хранения картинок с возможностью индексирования и быстрой выборки по ключу. Очень хочется чтобы она могла работать с большими объемами оперативной памяти (десятки терабайт) и была open source (при этом возможность приобретения платной поддержки крайне приветствуется).
29 ноя 19, 14:00    [22028840]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54759

ext4

Posted via ActualForum NNTP Server 1.5

29 ноя 19, 14:21    [22028896]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
witte
Member

Откуда:
Сообщений: 451
Dimitry Sibiryakov

ext4

"Мимо тещиного дома я без шуток не хожу..."
29 ноя 19, 16:59    [22029091]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 3057
вроде картинки обычно на файловой системе хранят

и непонятно, что такое индексирование картинок и выборка по ключу
29 ноя 19, 17:31    [22029113]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
witte
Member

Откуда:
Сообщений: 451
Бумбараш
вроде картинки обычно на файловой системе хранят

и непонятно, что такое индексирование картинок и выборка по ключу

Мне для ML это нужно. Файловая система, боюсь, не справится (даже если это будет внешнее хранение из БД) при указанных объемах.
Пока курю в сторону MemSQL, но может еще что-то интересное есть. На данный момент у меня вендор-лока нет.
29 ноя 19, 19:21    [22029185]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 3057
С чем "файловая система не справится"? Spark, например, стандартный тул для ML, там всё в файлах хранится.

В ML на картинках обычно используются RGB коды картинок, а не сами картинки. То есть это просто таблицы с числами. И ML задачи в СУБД не решаются. Они решаются в том же спарке или питоне. И индексы там не нужны, потому что там идет рандомное пересечение всего со всем сто пицот миллионов раз.

По ML лучше в ODS вопросы задавать. Там вам быстро растусуют, что где и как.
29 ноя 19, 19:55    [22029205]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
witte
Member

Откуда:
Сообщений: 451
Бумбараш,

Спасибо, пошел на ODS.
30 ноя 19, 15:41    [22029472]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
mayton
Member

Откуда: loopback
Сообщений: 52917
witte, несколько мыслей.


1)
Под СУБД обычно подразумевается РСУБД (это 99% юзкейсов этого понятия) следовательно надо определить
какие именно реляционные операции вы собираетесь с ней (базой) проводить.

Если реляционных операций нет (joins в обсновном) то скорее всего нам надо подумать над сменой формулировки
и поставить задачу поиска не СУБД а просто хранилища картинок.

2)
Индексирование. Как индексировать картинки - это отдельная и сложная тема. Тема машинного зрения (machine vision)
и она выходит далеко за рамки просто Сравнения СУБД. Мы не можем с вами говорить in general об индексировании
картинок пока не определимся как и каким алгоритмом. От этого может вытечет какая-то БД или хранилище.

Навскидку я помню такую тему как perceptual hash. Об ней писали на Хабре. И есть где-то в программировании
мой топик на тему индексирования персональных фоток.

3)
Гипотетический интерфейс. Ваше техническое задание должно иметь некий acceptance criteria, на основании
которого мы (участники) например можем сказать дескыть - да . Эта СУБД подходит. Или Не подходит.
А интерфейс - это и есть ваше приложение которого мы не знаем.

Например. На гипотетическом языке.

interface PictureDatabase {
   def putImage(image : Image) : ID
   def getImage(id : ID) : Image
   def lookup(query : String) : List[IMage] // Perceptual lookup for fuzzy criteria (ex: query="WHERE avgColor = RGB(0.3,0.2,00)")
}


4)
Файловые системы и хранилища. Как в топике было уже сказано.. под данное задание очень подходит
любая файловая система. Я плюсую. Учитывая потенциально большие объемы я-бы предложил ZFS. Там есть богатые возможности
по программным JBOD, и восстановлению частично поврежденных дисков. И вообще ZFS изначально проектировалась
для сверх-больших хранилищ данных.

Это ТЗ может быть скорректировано сильно формализацией процедуры lookup(query). Тоесть если мы перечислим
все поисковые кейсы которые могут быть. Поиск например по степени схожести двух картинок. Поиск по размерам.
Поиск по среднему цвету. Поиск по лицам и так далее.

Вобщем - думайте. Пока - файловая система подходит лучше всего.

При развитии системы в веб - можно рассмотреть Amazon-S3.
30 ноя 19, 15:48    [22029475]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
witte
Member

Откуда:
Сообщений: 451
mayton,

Спасибо.
30 ноя 19, 16:57    [22029485]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
Areostar
Member

Откуда:
Сообщений: 3738
witte,

В субд хранять адреса картинок. Картинки хранятся в директориях. Запихивать графические файды в бд это совсем не есть хорошо
7 мар 20, 07:53    [22095008]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
kolobok0
Member

Откуда:
Сообщений: 2180
Areostar,

OFF/2:
Представляете, а есть мощные движки бд......без ФС от слова совсем :)

7 мар 20, 11:57    [22095100]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
mayton
Member

Откуда: loopback
Сообщений: 52917
В наше время понятие файловая система - девальвировало. Что такое SD-карточка на вашем телефоне?
Это файловая система или просто память? Я не знаю. Что такое S3? Что такое http-enpoint который транслирует
старнартный Apache Directory Listing mod? Что такое ftp/cmb/cifs? Что такое Apache Common VFS? Тоже непонятно.
7 мар 20, 12:08    [22095102]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
kolobok0
Member

Откуда:
Сообщений: 2180
mayton
В наше время ....


при всём уважении - это демагогия.
существует определение ФС. существуют признаки того, что подразумевается под ФС.
и существуют БД которые не юзают ФС в принципе, а обращаются на прямую к железу (либо этот слой реализован в самом железе частично)..

а как реализовано то или иное хранилище внутри - то по разному бывает. но если интерфейс (см. правильное определение) к нему, не содержит понимание ФС, то оно его не содержит...

(круглый)
ЗЫ
Интерфейс = совокупность программно-аппаратных средств (и т.д)...

Сообщение было отредактировано: 8 мар 20, 12:07
8 мар 20, 12:03    [22095381]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
mayton
Member

Откуда: loopback
Сообщений: 52917
kolobok0, знаешь круглый. Это была ответка на еще большую демагогию которую ты выше писал.


а есть мощные движки бд......без ФС от слова совсем


Тоесть данным постом ты просто нивелировал. Обесценил и растоптал 50-летний
опыт создания БД на файлах! Ты просто закатал в асфальт Майкла Стоунбрейкера!
Ты похоронил целую эпоху прекрасных мангитных блинчиков и катушек с магнитной лентой.
Ты отменил ценность ленточной сортировки Кнута! Ты запомоил и запозорил B+Tree index
который создавался ТОЛЬКО под нужды маннитных дисков.

Позор тебе! Позор!

Ты еще скажи что персистенс БД не нужен!

P.S. Или ты имел в виду Oracle ASM? Так это тоже файловая система токо кластерная с менеджером томов. Не?
10 мар 20, 20:36    [22096419]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
kolobok0
Member

Откуда:
Сообщений: 2180
mayton
...имел в виду Oracle ASM?...Не?


НЕ...
см. OS400 - ось. AS400 - железка.

Делалась под заказ. ФС отсутствует как класс. От слова совсем...

ну вот как то так
(круглый)
ЗЫ
Я лично не вижу собственно проблем, если само железо может поддерживать элементарные операции необходимые самому движку БД. Более того - знаю как это можно решить на тех. уровни. Например за один так проца, отработать какой нить деревянный индекс и найти искомое значение.

Сообщение было отредактировано: 10 мар 20, 21:17
10 мар 20, 21:14    [22096438]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 586
mayton,

ну ты серый. оракл с незапамятных времен мимо фс на на raw partition можно было ставить.
https://docs.oracle.com/en/database/oracle/oracle-database/12.2/ntqrf/raw-partition-overview.html#GUID-52F2956B-AA8E-4E70-8F88-4F24F19FCBEA
10 мар 20, 21:23    [22096444]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
mayton
Member

Откуда: loopback
Сообщений: 52917
Я ставил еще под Oracle 9i на Windows-2003. Но это неудобно если поддерживаешь схему
Primary-Standby. У тебя геометрия разделов должна быть одинаковая для всех датафайлов
этого сырого пространства. А для гос-контор того времени - это было просто невозможно
обеспечить. Парк дисков был зоопарком. Вот и ставили либо на ext3 RHEL либо на обычные
NTFS volumes под Windows.

Но это всё автору-то никак не помогает. И преимущества хранения db-blocks
поверх сырых устройств уже давно нету. Железо - быстрое. A ASM это отдельная тема.
По нему курс обучения проходить надо.
10 мар 20, 22:01    [22096457]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 586
mayton,

т.е. ложечки (мощные движки бд......без ФС от слова совсем) нашлись, но осадочек остался

аффтору нефиг выдумать ерунду, ему нужен банальный hdfs и spark. ну или S3, если его неспешность не пугает.
10 мар 20, 22:32    [22096473]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для хранения снимков  [new]
Petissa
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 5
Наиболее простым СУБД в плане скриннинга и скорости работы является Oracle с изначальной релляционной моделью. Эта СУБД относится к категории мультимодельных с графовой LPG моделью и документной поддержкой по аналогии с Microsoft SQL
21 апр 20, 23:09    [22120400]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить