Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 СУБД для быстрого извлечения большого количества документов  [new]
Кензо
Guest
Нужно хранилище (софт) для сервиса, поставляющего данные и сервиса, анализирующего эти данные. Хранилище предназначено для хранения и обработки текстовых документов с строковыми и бинарными атрибутами.
Сервис, поставляющий данные, только пишет данные в хранилище, никаких удалений (пока) не предусмотрено.
Сервис, анализирующий данные, должен получить из хранилища коллекцию документов за интервал времени и по заданному объекту (внешний ключ в терминах РСУБД). Типичная коллекция содержит 100-1000 документов, каждый по 1-10 Кб. Есть ли какие-либо существенные преимущества у не РСУБД перед РСУБД?
7 май 12, 00:50    [12518790]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрого извлечения большого количества документов  [new]
Кензо
Guest
Кензо
Сервис, поставляющий данные, только пишет данные в хранилище, никаких удалений (пока) не предусмотрено.

Кстати, скорость вставки нужна достаточно высокая, а вот поиск по этим данным можно производить не сразу, так что можно писать большой "пачкой", а не подокументно.
7 май 12, 00:56    [12518801]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрого извлечения большого количества документов  [new]
Кензо
Guest
В том смысле, что скорость поиска и выборки данных нужна высокая, а вот время между заливкой данных и их доступностью для поиска может составлять до 5-10 минут.
7 май 12, 00:58    [12518803]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрого извлечения большого количества документов  [new]
neoddd
Member

Откуда:
Сообщений: 113
Звучит как типичная задача для Hadoop + Map/Reduce
7 май 12, 02:17    [12518944]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрого извлечения большого количества документов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54761

neoddd
Звучит как типичная задача для Hadoop + Map/Reduce

Ещё типичнее эта задача для файловой системы + indexing service.

Posted via ActualForum NNTP Server 1.5

7 май 12, 11:54    [12519428]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрого извлечения большого количества документов  [new]
neoddd
Member

Откуда:
Сообщений: 113
Dimitry Sibiryakov
Ещё типичнее эта задача для файловой системы + indexing service.


Тоже можно, если транзакционность не так важна. Есть готовые бесплатные масштабируемые решения, например elasticsearch. А можно самим с использованием lucene
7 май 12, 14:47    [12520263]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрого извлечения большого количества документов  [new]
Кензо
Guest
Я понял, что нужно:
нужен софт, пишущий всегда в одной транзакции (и то время от времени) и читающий во многих. Оптимизированный для этих операций. Операция поиска - это выборка множества (>= 1000) blob'ов по интервалу времени (первое поле), рубрике (второе поле). Т.е. логическое "и" 1 + 2 поля. Документы нужны не по одному за раз, а сразу много. Больше ничего не нужно.

Писать свой хранилище не хочется, т.к. существующие системы часто сами масштабируются на несколько узлов (рсубд и NOSQL).

Кстати, полнотекстовый поиск не нужен - этим займется софт аналитики.
7 май 12, 18:07    [12520922]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрого извлечения большого количества документов  [new]
neoddd
Member

Откуда:
Сообщений: 113
CouchDB, говорят, хорошо с документами работает.
8 май 12, 04:09    [12522339]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрого извлечения большого количества документов  [new]
Кензо
Guest
neoddd
CouchDB, говорят, хорошо с документами работает.

индексы и масштабирование на несколько узлов прилагаются?
10 май 12, 20:04    [12532545]     Ответить | Цитировать Сообщить модератору
 Re: СУБД для быстрого извлечения большого количества документов  [new]
neoddd
Member

Откуда:
Сообщений: 113
Кензо
индексы и масштабирование на несколько узлов прилагаются?


Есть свежая информация с поля боя, так сказать. На английском:

http://news.ycombinator.com/item?id=3954596
11 май 12, 13:06    [12535741]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить