Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Выбор БД для хранилища крупных данных  [new]
Alex_i
Member

Откуда:
Сообщений: 29
Есть задача: структурирования и сохранения в БД файлов разного типа. Это могут быть документы любого формата или исполняемые файлы. Общее кол-во записей в пределах 1000. Кол-во таблиц в пределах 10. Максимальный объем одного загружаемого файла может доходить до 1GB.
Одновременно могут работать до 20 пользователей. На запись не более 3-х, остальные только на чтение. Особых требований ко времени отклика нет.
База должна иметь возможность репликации.

Какую БД лучше использовать при условии, что она не должна быть платной?
15 дек 06, 04:05    [3539300]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
nik_x
Member

Откуда:
Сообщений: 1887
Когда-же гаучимся грамотно вопросы задавать-то?
В конце-то концов, из конца-то в конец!

База данных - совокупность связанных данных, организованных по определенным правилам, предусматривающим общие принципы описания, хранения и манипулирования, независимая от прикладных программ. База данных является информационной моделью предметной области. Обращение к базам данных осуществляется с помощью системы управления базами данных (СУБД).

Или чукча не читатель, чукча - писатель?
15 дек 06, 07:05    [3539401]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Serik Akhmetov
Member

Откуда:
Сообщений: 565
Файлы хранятся не в БД, а просто файлы на диске сервера. В БД хранится имя (путь) файла + прочая мета-информация. В БД процедуры чтения/записи с диска, к котрым пользователь обращается из SQL. У меня такие системы реализованы на PostgreSQL и Firebird.
15 дек 06, 08:14    [3539477]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Serik Akhmetov
Member

Откуда:
Сообщений: 565
А вообще, если только файлы (+ возможно свои атрибуты), советую посмотреть subversion.
15 дек 06, 08:17    [3539484]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
nik_x
Member

Откуда:
Сообщений: 1887
Serik Akhmetov
Файлы хранятся не в БД, а просто файлы на диске сервера. В БД хранится имя (путь) файла + прочая мета-информация. В БД процедуры чтения/записи с диска, к котрым пользователь обращается из SQL. У меня такие системы реализованы на PostgreSQL и Firebird.


Пипец сегодня какой-то...
Нашествие чукчей-писателей?
Или просто пятница удалась?
15 дек 06, 10:21    [3540039]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Alex_i
Member

Откуда:
Сообщений: 29
Объясняю на пальцах. Простейшая реалицация: таблица с BLOB полем и двумя полями типа nchar(255). В BLOB будет храниться бинаный код (это как раз может быть PDF, GIF, EXE и вообще что угодно). В одном из char - имя файла, находящегося в BLOB поле. А в другом char описание файла.

Предстоит выбор БД, где все это хранить. Требования: возможность хранения данных общим объемом свыше 50Gb, объем одной записи, хранящейся в BLOB может доходить до 1GB. Плюс должна быть бесплатна.

На сейчас предпочтительней кажется DB2 Express Edition.

To nik_x: Чуствуется теоретическая подкованность в вопросах теории БД. Но хочется услышать мнение практиков.
15 дек 06, 22:35    [3544917]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Alex_i
Member

Откуда:
Сообщений: 29
Serik Akhmetov
Файлы хранятся не в БД, а просто файлы на диске сервера. В БД хранится имя (путь) файла + прочая мета-информация. В БД процедуры чтения/записи с диска, к котрым пользователь обращается из SQL. У меня такие системы реализованы на PostgreSQL и Firebird.

Каким образом тогда файлы из клиентского приложения будут загружаться на сервер? Получается он тразитом через БД должен упасть на диск сервера, где работает БД. Не совсем себе представляю реализацию этого механизма. Или прикрутить параллельно FTP сервер и тогда оперировать только ссылками на файлы.


Serik Akhmetov
А вообще, если только файлы (+ возможно свои атрибуты), советую посмотреть subversion.

Что есть subversion ?
15 дек 06, 22:43    [3544935]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54840

Alex_i

Объясняю на пальцах. Простейшая реалицация: таблица с BLOB полем и двумя
полями типа nchar(255).

Берите то что лучше знаете и не пудрите нам мозги. Любая БД это
позволяет. Вплоть до файловой системы (только не говорите что она не БД).

Posted via ActualForum NNTP Server 1.3

15 дек 06, 22:52    [3544952]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Alex_i
Member

Откуда:
Сообщений: 29
Dimitry Sibiryakov

Alex_i

Объясняю на пальцах. Простейшая реалицация: таблица с BLOB полем и двумя
полями типа nchar(255).

Берите то что лучше знаете и не пудрите нам мозги. Любая БД это
позволяет. Вплоть до файловой системы (только не говорите что она не БД).
Posted via ActualForum NNTP Server 1.3

Лучше знаю MS SQL. Но на него лицензия платная. Поэтому и спрашиваю мнение о других БД.
15 дек 06, 22:57    [3544964]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
автор
Требования: возможность хранения данных общим объемом свыше 50Gb, объем одной записи, хранящейся в BLOB может доходить до 1GB. Плюс должна быть бесплатна

Вы уже прикинули, какую железку поставите для хостинка 1ТБ данных? А как вы их заливать будете? Через Веб?
15 дек 06, 23:48    [3545065]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Alex_i
Member

Откуда:
Сообщений: 29
Я же написал выше, что общий объем всех данных 50 Гигов. До терабайта вряд ли скоро доберусь.
17 дек 06, 03:24    [3546795]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Пьяный Лох
Member

Откуда:
Сообщений: 3652
Alex_i
Я же написал выше, что общий объем всех данных 50 Гигов. До терабайта вряд ли скоро доберусь.

Пардон, не надо врать.
Вы писали "Требования: возможность хранения данных общим объемом свыше 50Gb"
А также "Общее кол-во записей в пределах 1000... Максимальный объем одного загружаемого файла может доходить до 1GB.", что дает тот самый терабайт, до которого Вы почему-то не хотите добираться.

А по сабжу... Для доступа преимущественно на чтение к тысяче произвольных файлов - ващще никакая РСУБД не нужна. Патамушта зачем.
IT-эксперты и ведущие собаководы рекомендуют для хранения файлов использовать файловую систему, а для доступа к ним - мудрую программу под названием "файл-сервер".
Выбирайте любой из бесплатных файл-серверов, и не парьте мозги людям.
17 дек 06, 03:44    [3546804]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Пьяный Лох
Member

Откуда:
Сообщений: 3652
Хотя использование бесплатной файловой системы (внутре бесплатной ОСи, как я понимаю) может обломиться из-за требования поддержки репликаций. Тут надо уже смотреть, есть ли под нужную бесплатную ось с файловой системой какой-либо бесплатный удовлетворяющий репликатор.
17 дек 06, 03:54    [3546810]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Serik Akhmetov
Member

Откуда:
Сообщений: 565
Alex_i
Serik Akhmetov
Файлы хранятся не в БД, а просто файлы на диске сервера. В БД хранится имя (путь) файла + прочая мета-информация. В БД процедуры чтения/записи с диска, к котрым пользователь обращается из SQL. У меня такие системы реализованы на PostgreSQL и Firebird.

Каким образом тогда файлы из клиентского приложения будут загружаться на сервер? Получается он тразитом через БД должен упасть на диск сервера, где работает БД. Не совсем себе представляю реализацию этого механизма. Или прикрутить параллельно FTP сервер и тогда оперировать только ссылками на файлы.


Ключевая фраза: В БД процедуры чтения/записи с диска, к котoрым пользователь обращается из SQL. Совершенно верно, транзитом через БД.
Я про это уже несколько раз объяснял в форуме PostgreSQL, поищите там.

Alex_i

Serik Akhmetov
А вообще, если только файлы (+ возможно свои атрибуты), советую посмотреть subversion.

Что есть subversion ?


svn-book
Subversion — это свободная система управления версиями с открытым исходным кодом. Subversion позволяет управлять файлами и каталогами во времени. Дерево файлов помещается в центральное хранилище, которое похоже на обычный сервер файлов с тем отличием, что оно запоминает каждое изменение, внесённое в файл или каталог. Это позволяет восстановить ранние версии данных, исследовать историю изменений данных. Благодаря этому, многие считают систему управления версиями своеобразной «машиной времени».
К файлам можно привязывать доп. атрибуты, есть синхронизация, API. См. http://subversion.tigris.org/
18 дек 06, 07:59    [3548022]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Мимо пробегавший
Guest
Alex_i
Есть задача: структурирования и сохранения в БД файлов разного типа. Это могут быть документы любого формата или исполняемые файлы. Общее кол-во записей в пределах 1000. Кол-во таблиц в пределах 10. Максимальный объем одного загружаемого файла может доходить до 1GB.
Одновременно могут работать до 20 пользователей. На запись не более 3-х, остальные только на чтение. Особых требований ко времени отклика нет.
База должна иметь возможность репликации.

Какую БД лучше использовать при условии, что она не должна быть платной?


Вот меня всегда удивляет писхология людей. Свой софт все ходят продавать за бабки, ну или если не продавать, так использоватьу себя в конторе, чтобы она зарабатывала бабки. Но почему никто не хочет платить бабки за лицензию на БД? Или те программеры, что их создают хуже Вас!!!!
Ведь на самом деле речь идет о смешных деньгах. Например, ORACLE Standart Edition One на 5 юзверей стоит всего 750 $. И все... вопрос закрыт. Это что, большие деньги. Каждая дополнительная лицензия +150$. Аналогично со стоимостью лицензий на другие базы данных, порядок примерно такой же.
18 дек 06, 11:07    [3548728]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
MX -- ALEX
Guest
Мимо пробегавший
Alex_i
Есть задача: структурирования и сохранения в БД файлов разного типа. Это могут быть документы любого формата или исполняемые файлы. Общее кол-во записей в пределах 1000. Кол-во таблиц в пределах 10. Максимальный объем одного загружаемого файла может доходить до 1GB.
Одновременно могут работать до 20 пользователей. На запись не более 3-х, остальные только на чтение. Особых требований ко времени отклика нет.
База должна иметь возможность репликации.

Какую БД лучше использовать при условии, что она не должна быть платной?


Вот меня всегда удивляет писхология людей. Свой софт все ходят продавать за бабки, ну или если не продавать, так использоватьу себя в конторе, чтобы она зарабатывала бабки. Но почему никто не хочет платить бабки за лицензию на БД? Или те программеры, что их создают хуже Вас!!!!
Ведь на самом деле речь идет о смешных деньгах. Например, ORACLE Standart Edition One на 5 юзверей стоит всего 750 $. И все... вопрос закрыт. Это что, большие деньги. Каждая дополнительная лицензия +150$. Аналогично со стоимостью лицензий на другие базы данных, порядок примерно такой же.


если можно не платить - зачем платить ?
так говорит один мой знакомый - миллионер
18 дек 06, 11:40    [3548999]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
MX -- ALEX
если можно не платить - зачем платить ?
так говорит один мой знакомый - миллионер


Можно конечно и не платить ... если вас не интересует результат (с)
Так говорит один мой знакомый сатирик
18 дек 06, 11:50    [3549055]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для хранилища крупных данных  [new]
43210
Guest
nik_x
Когда-же гаучимся грамотно вопросы задавать-то?
В конце-то концов, из конца-то в конец!

Или чукча не читатель, чукча - писатель?


Резонерство — тип мышления, характеризующийся склонностью к пустым, бесплодным, основанным на поверхностных, формальных аналогиях рассуждениям. Она проявляется в неадекватном реальной ситуации мудрствовании, многословности и банальности суждений. При этом цель мыслительной задачи отодвигается на задний план, а на передний выдвигается стремление больного к «рассуждательству»...Резонерское мышление наблюдается при шизофрении, эпилепсии, олигофрениях и ряде органических поражений головного мозга.
18 дек 06, 12:58    [3549557]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить