Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Выбор БД (бесплатной)  [new]
Arrtem
Member

Откуда:
Сообщений: 15
Требуется создать довольно массивную базу данных для послудеющего полнотекстового поиска по ней. Всего планируется около 300 - 700 млн. (в главной базе) записей с индекс-текстовым полем длиной предварительно 32 байта и десятком чисел с плавающей запятой. Вспомагательные базы будут содержать двоичные данные, по которым также надо будет делать простые небольшие выборки. Статистики будет мало, критична скорость простой выборки. Пиковая нагрузка - до 50 выборок в секунду.

Посему вопрос, что использовать и сколько это будет стоить вместе с железом? Стоимость критична.
6 дек 05, 19:29    [2146890]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32896

Привет, Arrtem!
Ты пишешь:

Arrtem
A> Требуется создать довольно массивную базу данных для послудеющего полнотекстового поиска по ней.
A> Всего планируется около 300 - 700 млн. (в главной базе) записей с индекс-текстовым полем длиной
A> предварительно 32 байта и десятком чисел с плавающей
A> запятой. Вспомагательные базы будут содержать двоичные данные, по которым
A> также надо будет делать простые небольшие выборки.
A> Статистики будет мало, критична скорость простой выборки. Пиковая нагрузка
A> - до 50 выборок в секунду.

A> Посему вопрос, что использовать и сколько это будет стоить вместе с железом? Стоимость критична.

Курсовик?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.3

6 дек 05, 19:32    [2146898]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
Алексей_3
Member

Откуда:
Сообщений: 297
Я спец не бошьшой.
Взялбы SQL Server, а из Free выбрал бы FB - даром и сердить, но может возникнуть головняк(план руками писать и всякое такое...), хотя штука стоящая.
6 дек 05, 21:27    [2147070]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
gsi___
Guest
Посмотри Berkeley DB

http://www.sleepycat.com/

Не поддерживает SQL, но есть пара моментов..
7 дек 05, 05:50    [2147393]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
Arrtem
Member

Откуда:
Сообщений: 15
Мимопроходящий

Привет, Arrtem!
Ты пишешь:

Курсовик?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.3


Так точно :)
7 дек 05, 12:07    [2148406]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
Arrtem
Member

Откуда:
Сообщений: 15
to gsi___: Почитал, вполне устраивает. Спасибо.

to all Не укажете, где найти тесты производительности по Berkley? И последний вопрос: в Berkley есть полнотекстовый поиск?? Или сами, ручками..
7 дек 05, 13:29    [2149024]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
guest_20040621
Guest
> Требуется создать довольно массивную базу данных для послудеющего
> полнотекстового поиска по ней.

Маленький домашний google?

> Посему вопрос, что использовать и сколько это будет стоить вместе с железом?

labs.google.com + калькулятор

> Стоимость критична.

;))) И в какой бюджет надо уложиться?
7 дек 05, 13:44    [2149141]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Курсовик 300-700 млн записей? Конечно, играет роль средний размер одной записи, но все-таки. И скока запрос должен по времени один выполняться? Про 50 одновременно в секунду я и не говорю. Для таких задач, возможно, система ценой 50000$ не такая уж дорогая - типа бесплатно.
7 дек 05, 13:46    [2149147]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
Arrtem
Member

Откуда:
Сообщений: 15

vadiminfo
Курсовик 300-700 млн записей? Конечно, играет роль средний размер одной записи, но все-таки. И скока запрос должен по времени один выполняться? Про 50 одновременно в секунду я и не говорю. Для таких задач, возможно, система ценой 50000$ не такая уж дорогая - типа бесплатно.


Вот - вот)) Хорошо, отметаем вопрос стоимости.
+ я не верно объяснил кол-во записей. Это я написал для объяснения объема информации - где-то около 70 Гб. во всей базе. А объемы текста, по которому собираюсь вести поиск - это несколько миллионов строк (< 10). Причем не хотелось бы строить сложные ступенчатые индексы самостоятельно.

Но вопрос скорости остается, поэтому вопрос: какая машина должна быть и какую базу лучше использовать, чтобы можно было делать выборку из 1..10 Гб. базы по текстовому полю с несколькими словами и какие при этом ориентировочно будут задержки.

Вопрос 2. Есть машина 2*Xeon 1.8 Ghz, 2Гб. RAM. Какие для такой машины будут задержки с указанной базой? А на P4 3.0 Ghz
7 дек 05, 15:53    [2149934]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
aZm
Member

Откуда:
Сообщений: 2357
а дисковая подсистема какая :)?

---
No Pity. No Mercy. No Regret.
7 дек 05, 17:20    [2150447]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
Arrtem
Member

Откуда:
Сообщений: 15
RAID 1
7 дек 05, 18:02    [2150653]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
Arrtem

Но вопрос скорости остается, поэтому вопрос: какая машина должна быть и какую базу лучше использовать, чтобы можно было делать выборку из 1..10 Гб. базы по текстовому полю с несколькими словами и какие при этом ориентировочно будут задержки.

Мне кажется, с такими требованиям Вы выходите на лидирующие СУБД, в том числе и по TCP тестам (DB2, Оракл, Скуль). В нашей стране остаются, скорее всего, два последние - легче проконсультироваться в реале. Я Ораклист. Могу тока сказать, что в нем полно фич и для текстовых полей. Например, там есть Oracle Text со специальным каким-то индексированием.
Однако, наверное, чтобы Вам сказали что-то в сторону задержек нужны структура таблы, что-то про особенности данных и критичные запросы.
8 дек 05, 01:34    [2151387]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД (бесплатной)  [new]
Arrtem
Member

Откуда:
Сообщений: 15
vadiminfo
Arrtem

Но вопрос скорости остается, поэтому вопрос: какая машина должна быть и какую базу лучше использовать, чтобы можно было делать выборку из 1..10 Гб. базы по текстовому полю с несколькими словами и какие при этом ориентировочно будут задержки.

Мне кажется, с такими требованиям Вы выходите на лидирующие СУБД, в том числе и по TCP тестам (DB2, Оракл, Скуль). В нашей стране остаются, скорее всего, два последние - легче проконсультироваться в реале. Я Ораклист. Могу тока сказать, что в нем полно фич и для текстовых полей. Например, там есть Oracle Text со специальным каким-то индексированием.
Однако, наверное, чтобы Вам сказали что-то в сторону задержек нужны структура таблы, что-то про особенности данных и критичные запросы.


Спасибо, Вадим, это я и хотел узнать. Будем пробовать, может чего и получится..
8 дек 05, 08:42    [2151636]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить