Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Хранение большого количества мелкий файлов  [new]
Devider
Member

Откуда:
Сообщений: 838
Добрый день.

Есть необходимость хранить большие объемы файлов (картинок) размером до 100 kb из ограниченного (до тысяч) списка источников. Источники объединяются в группы. Файлы привязаны ко времени занесения в базу. Выбираться данные будут по источнику за указанный период. Посоветуйте плз, как организовать это хозяйство. Рабочая версия - кассандра, но картина в голове не выстраивается.
27 ноя 13, 11:23    [15197021]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54768

Загружай картинки в BLOBы.

Posted via ActualForum NNTP Server 1.5

27 ноя 13, 13:55    [15198509]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Devider
Member

Откуда:
Сообщений: 838
Блобы в смысле в обычной таблице РСУБД?
Этих блобов может быть достаточно много. Теоретически рост может быть десятки мегабайт в секунду. И соотношение записи к чтению я вижу порядка 90/10, а то и больше. Честно говоря, до сих пор использовал БД "традиционным" способов и не набивал их так бинарями. Не очень себе представляю, как она себя поведет.
27 ноя 13, 16:07    [15199934]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54768

Devider
Этих блобов может быть достаточно много. Теоретически рост может быть
десятки мегабайт в секунду.

Хреновая у тебя теория. На десятки мегабайт в секунду не хватит пропускной способности сети.

Posted via ActualForum NNTP Server 1.5

27 ноя 13, 16:13    [15199986]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
sphinx_mv
Member [заблокирован]

Откуда:
Сообщений: 1672
Dimitry Sibiryakov
Devider
Этих блобов может быть достаточно много. Теоретически рост может быть
десятки мегабайт в секунду.

Хреновая у тебя теория. На десятки мегабайт в секунду не хватит пропускной способности сети.
Уж кто бы говорил!
В-обсчем, учись, студент:
wide area networks bitrate
local area networks bitrate
wireless networks bitrate
27 ноя 13, 20:26    [15201750]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54768

sphinx_mv
В-обсчем, учись, студент:

Ты эта... Начни уже отличать мегабиты от мегабайтов.

Posted via ActualForum NNTP Server 1.5

27 ноя 13, 20:47    [15201835]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
sphinx_mv
Member [заблокирован]

Откуда:
Сообщений: 1672
Dimitry Sibiryakov
sphinx_mv
В-обсчем, учись, студент:

Ты эта... Начни уже отличать мегабиты от мегабайтов.
Маразм крепчает?
А просто поделить (на калькуляторе, если по другому не получается) 100, ладно... пусть не 100, а хотя бы 80 мегабит в секунду ("fast ethernet", который 100BASE-TX, 1995 год) на 8 бит (которые в одном байте) не судьба? А еще бывает и 1000 мегабит в секунду (gigabit ethernet, 1998 год)... И это - далеко не самые большие цифры даже для "ширпотреба".

Кстати, если кто-то почему-то "не заметил" - в табличках по ранее приведенной ссылке даже есть колонка "байты в секунду"...

В-обсчем, скромные "десятки мегабайт в секунду", о которых упоминал ТС, совершенно не представляют собой проблемы пропускной способности даже для сети, построенной на технолоиях прошлого века...
27 ноя 13, 23:05    [15202450]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54768

sphinx_mv
А просто поделить (на калькуляторе, если по другому не получается) 100,
ладно... пусть не 100, а хотя бы 80 мегабит в секунду ("fast ethernet", который
100BASE-TX, 1995 год) на 8 бит (которые в одном байте) не судьба?

Не судьба. Потому что некоторые (в отличии от...) знают не только число бит в байте, но и
другие обстоятельства, делающие жизнь совсем не так радужной.

Posted via ActualForum NNTP Server 1.5

27 ноя 13, 23:22    [15202531]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
ScareCrow
Member

Откуда: Белый город
Сообщений: 17472
автор
В-обсчем, скромные "десятки мегабайт в секунду", о которых упоминал ТС, совершенно не представляют собой проблемы пропускной способности даже для сети, построенной на технолоиях прошлого века...

вопрос на засыпку 100 мегабил локальная сеть это сколько мегабайт?
27 ноя 13, 23:58    [15202646]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Зайцев Фёдор
Member

Откуда: Лужки
Сообщений: 5308
Dimitry Sibiryakov
другие обстоятельства, делающие жизнь совсем не так радужной.

Погода неважнецкая, Валя из бухгалтерии отшивает, и т.д. - всё это действительно бывает.
Но как это ограничивает возможности сети? Или речь идёт о какой-то конкретной сети?
27 ноя 13, 23:59    [15202651]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54768

Зайцев Фёдор
как это ограничивает возможности сети?

Данные в БД передаются не на Ethernet уровне.

Posted via ActualForum NNTP Server 1.5

28 ноя 13, 00:08    [15202690]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
sphinx_mv
Member [заблокирован]

Откуда:
Сообщений: 1672
Dimitry Sibiryakov
sphinx_mv
А просто поделить (на калькуляторе, если по другому не получается) 100,
ладно... пусть не 100, а хотя бы 80 мегабит в секунду ("fast ethernet", который
100BASE-TX, 1995 год) на 8 бит (которые в одном байте) не судьба?

Не судьба. Потому что некоторые (в отличии от...) знают не только число бит в байте, но и
другие обстоятельства, делающие жизнь совсем не так радужной.
К пропускной способности сети эти "нерадужные обстоятельства" не имеют практически никакого отношения - до "вообще" включительно!

Напоминаю: про "проблемы" с передачей больших объемов "разнокалиберной" информации Вы пытаетесь рассказывать очень близко с этим связанному сотруднику телекоммуникационной компании. А у нас (даже без использования колокэйшена) клиенту в-легкую предоставляют пару сотен реальных мегабит в секунду между удаленными офисами даже не в пределах одного города. Чем клиент это "наполнит" - проблема клиента. А от нас должен быть предоставлен стабильный канал, в котором биты и байты связаны простым математическим соотношением "8-к-1". Вот такая у нас "радужная реальность", однако. :)
28 ноя 13, 00:13    [15202703]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Зайцев Фёдор
Member

Откуда: Лужки
Сообщений: 5308
Dimitry Sibiryakov
Зайцев Фёдор
как это ограничивает возможности сети?

Данные в БД передаются не на Ethernet уровне.

И это полностью исключает любую возможность передавать десятки мегабайт в секунду? 5 десятков - это десятки?
Народный суд запретил ТС использовать несколько сетевых интерфейсов?

Я не понимаю.
28 ноя 13, 00:23    [15202725]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
sphinx_mv
Member [заблокирован]

Откуда:
Сообщений: 1672
Dimitry Sibiryakov
Зайцев Фёдор
как это ограничивает возможности сети?

Данные в БД передаются не на Ethernet уровне.
Поставить дисковую систему по-шустрее, не пробовали? Процессор более адекватный? Оперативной памяти достаточно? А операционную систему тюнить?

ЗЫ. И как интересно стрелочки переехали с пропускной способности сети на производительность всего сервера "в сборе"...
28 ноя 13, 00:34    [15202762]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54768

Зайцев Фёдор
И это полностью исключает любую возможность передавать десятки мегабайт
в секунду? 5 десятков - это десятки?

Десятки, десятки. Вот только для этих десятков нужен гигабитный Ethernet и протокол уровня
приложения сильно плотнее чем SMB, поскольку SMB на гигабите даёт только порядка 30
мегабайт в секунду. А протоколы СУБД обычно ещё менее эффективны из-за привычки к полному
квитированию.

Posted via ActualForum NNTP Server 1.5

28 ноя 13, 00:39    [15202785]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Зайцев Фёдор
Member

Откуда: Лужки
Сообщений: 5308
Dimitry Sibiryakov
+ это всё понятно
Десятки, десятки. Вот только для этих десятков нужен гигабитный Ethernet и протокол уровня
приложения сильно плотнее чем SMB, поскольку SMB на гигабите даёт только порядка 30
мегабайт в секунду. А протоколы СУБД обычно ещё менее эффективны из-за привычки к полному
квитированию.

, но я только что получил 45 Мб/сек. mssql server 2008, AMD A4 3400, 9999 файлов по 166Кб
28 ноя 13, 01:40    [15202950]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Зайцев Фёдор
Member

Откуда: Лужки
Сообщений: 5308
Dimitry Sibiryakov
поскольку SMB на гигабите даёт только порядка 30 мегабайт в секунду

У меня не получается копировать файлы медленее, чем 90 Мб/сек. Надеюсь, это не признак неисправности, т.к. гарантия уже закончилась )
Получается, либо я копирую по какому-то другому протоколу, либо утверждение "...SMB на гигабите..." противоречит действительности
28 ноя 13, 02:03    [15203020]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Аноним321
Guest
Зайцев Фёдор, 90 Мбит/c ~ 11 МегаБайт/c гордится нечем.
28 ноя 13, 12:36    [15205056]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Зайцев Фёдор
Member

Откуда: Лужки
Сообщений: 5308
Аноним321
Зайцев Фёдор, 90 Мбит/c ~ 11 МегаБайт/c гордится нечем.

90 МБ, доволен? забыл как правильно пишется единица )
28 ноя 13, 12:45    [15205167]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 9882
Два вопроса:
1. А у меня копирование по сети выдало 112 MB в секунду (счетчик в FAR'е). Кто больше?
2. Какое это имеет отношение к вопросу автора?

Devider
....Честно говоря, до сих пор использовал БД "традиционным" способов и не набивал их так бинарями. Не очень себе представляю, как она себя поведет.

А какие проблемы? Информация она и есть информация.

Единственное, я когда проектировал табличку с блобами складывал в отдельный tablespace и блобы хранил отдельно от данных. См. доку БД. "Как поведет" и скорость на конкретной СУБД и конкретном железе нужно наверное банально мерить. Особенно, если есть понимание о характере нагрузки.

Соглашусь с Dimitry Sibiryakov, 10 мегабайт в секунду рост БД IMHO не мало - 10 МБ в сек, это 36 Gb в час, 288 Gb за 8 часовой рабочий день.... ))) Куда Вы это складывать планируете? Плюс еще redo-log'ов (в случае Oracle) не меньше (если не больше) будет создаваться.

Достоинства - транзакции, поиск по индексам, надежность.

Нет проблемы, что при каких либо падениях софта, останутся временные файлы на сервере, не подключенные к БД. Пока в нашей системе информация хранилась как файл + ссылка из БД - в реальных системах, которые работали годами, всегда были проблемы: часть файлов отсутствует, какие-то левые файлы и целые директории и т.д. Не критично конечно, но и не особо приятно. В БД транзакционность и таких проблем не может/не должно быть. Плюс залезть шаловливыми ручками и что-то удалить - тяжелее.
1 дек 13, 16:49    [15220666]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
а точно нужна СУБД?
может нужен высокопроизводительный NAS? с подключением к серверу 10GB.

у нас немного другая задача - генерация отчетов для массы заказчиков в pdf и html. раскладываем по файлам. ориентировочно - 15-20млн файлов. скорость выдачи

и еще по пропускной способности - Exadata, общение между ячейками до 80mbs по infiniband'у.


так что... вопрос системной архитектуры...
1 дек 13, 20:34    [15221395]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
AAron
и еще по пропускной способности - Exadata, общение между ячейками до 80mbs по infiniband'у.
до 80 gbs?
1 дек 13, 20:37    [15221405]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
AAron,

скорость выдачи - не дописал. количество пользователей - 200тыс+, одновременно использующих отчеты - 2-3 тыс.
1 дек 13, 20:51    [15221438]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
Alexander Ryndin,

конечно ;))
3 дек 13, 20:03    [15234946]     Ответить | Цитировать Сообщить модератору
 Re: Хранение большого количества мелкий файлов  [new]
Dima T
Member

Откуда:
Сообщений: 16050
Elliptics как раз для таких целей придумано. Яндекс его пользует
22 янв 14, 16:09    [15452846]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить