Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Посоветуйте легковесную и быструю СУБД  [new]
mr.badguy
Member

Откуда:
Сообщений: 11
Для следующей задачи: постоянная запись в базу несколькими потоками/процессами (порядка 100), и периодическое чтение (1-2 потока, с меньшим периодом чем запись). Пишущие потоки пишут за 1 транзакцию по одной записи, читающие читают на порядок-два больше. Пробовали SQLite, по скорости устраивает, но запись/чтение одновремено не работает и писать свой механизм синхронизации не очень хочется. Целевая платформа - Линух. Лицензия на СУБД - GPL или что-то подобное. Существует такое вообще?
7 авг 07, 14:04    [4490308]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
walking_around
Guest
Из описания следует, что вам pipe вполне подходит.
Частоту записи, порядок чтения и т.п. озвучьте... что вообще сделать-то хотите?
7 авг 07, 16:49    [4491850]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
LittleCat
Member

Откуда: СПб
Сообщений: 435
mr.badguy
Целевая платформа - Линух. Лицензия на СУБД - GPL или что-то подобное. Существует такое вообще?

GT.M если не стоит задача иметь обязательно SQL-базу :-)
7 авг 07, 17:53    [4492478]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
DocAl
Member

Откуда: Оккупирую западный берег
Сообщений: 10472
BDB, InnoDB. Да, собственно, чем MySQL не устраивает?
7 авг 07, 20:32    [4493215]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
mr.badguy
Member

Откуда:
Сообщений: 11
walking_around
Из описания следует, что вам pipe вполне подходит.
Частоту записи, порядок чтения и т.п. озвучьте... что вообще сделать-то хотите?

Частота записи - 10 Гц с одного источника(максимум), планируемое кол-во источников (каналов) для данного проекта порядка 100 (а вообще не ограничено, разумных пределах). Характер появления событий записи - асинхронный (callback). Для каждой процедуры записи - отдельный трэд. Чтение из другого процесса. Чтение по требованию, с гораздо меньшей частотой, но бОльшим объемом. Проблема в том, что чтение блокирует запись на продолжительное время. Полноценный SQL сервер не устраивает по причине требовательности к ресурсам, да и сетевые возможности в данный момент не требуются (хотя приветствуются).
Можно поподробнее про пайпы?
8 авг 07, 08:33    [4493854]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
ЛП
Guest
2 mr.badguy
Пишущие потоки пишут за 1 транзакцию по одной записи
...
Частота записи - 10 Гц с одного источника(максимум), планируемое кол-во источников (каналов) для данного проекта порядка 100 (а вообще не ограничено, разумных пределах). Характер появления событий записи - асинхронный (callback). Для каждой процедуры записи - отдельный трэд.

1000 записей в секунду? Т.е. за одни сутки 86 миллионов записей?
Вы уверены, что Вам нужна именно "легковесная" СУБД?

и периодическое чтение (1-2 потока, с меньшим периодом чем запись).
...
Чтение из другого процесса. Чтение по требованию, с гораздо меньшей частотой, но бОльшим объемом.

С какой частотой? Какой объем выборки? Какого типа выборки?
Может там выборки такие, что и вообще СУБД никакая не нужна.

Проблема в том, что чтение блокирует запись на продолжительное время.

Пардон, у кого такая проблема? У SQLLite? Или по условиям задачи?
Уровень изоляции какой нужен?

Полноценный SQL сервер не устраивает по причине требовательности к ресурсам

А какие у Вас ограничения по ресурсам?
И Вы уж как-нибудь определитесь, то ли Вас "полноценный SQL сервер" не устраивает, потому что хоть он и умеет всё, но "слишком много кушать" (с), то ли Вас не устраивают "неполноценные" сервера, которые хоть и менее требовательны, но например читать-писать одновременно не умеют :)

З.Ы. Как всегда, порадовали кашисты. Которые опять уверены в том, что у них все летает - неважно на каких объемах данных, неважно с какой частотой, неважно на каком железе.
8 авг 07, 11:51    [4495146]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
MX -- ALEX
Guest
ЛП

З.Ы. Как всегда, порадовали кашисты. Которые опять уверены в том, что у них все летает - неважно на каких объемах данных, неважно с какой частотой, неважно на каком железе.


требования четко прописаны - что там непонятного ?
CACHE - MSM - GT.M (любой из них)
эту конкретную задачу
потянут однозначно
и еще с запасом по скорости
8 авг 07, 13:46    [4496149]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
ЛП
Guest
2 MX -- ALEX
ЛП

З.Ы. Как всегда, порадовали кашисты. Которые опять уверены в том, что у них все летает - неважно на каких объемах данных, неважно с какой частотой, неважно на каком железе.


требования четко прописаны

Гыгыгы.
Что там четко прописано?

автор
что там непонятного

Вам таки все понятно?
Ну ка, разъясните (раз уж Вам всё понятно) - каков объем данных на одну запись, время хранения данных (накапливающихся по восемдесят миллионов записей в сутки), соответственно общий объём данных, характер запросов на выборку, частоту запросов на выборку, характерный объем данных на каждую выборку, и железо, которое должно с этим добром справиться.

автор
CACHE - MSM - GT.M (любой из них)
эту конкретную задачу
потянут однозначно
и еще с запасом по скорости

Однозначно. Всё будет летать. На двести двадцать процентов

Два вопроса лично к Вам.
Куда уехал цирк? И почему Вы остались?
8 авг 07, 14:02    [4496288]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
LittleCat
Member

Откуда: СПб
Сообщений: 435
ЛП

автор
CACHE - MSM - GT.M (любой из них)
эту конкретную задачу
потянут однозначно
и еще с запасом по скорости

Однозначно. Всё будет летать. На двести двадцать процентов

Два вопроса лично к Вам.
Куда уехал цирк? И почему Вы остались?

Хоть вопрос не ко мне, но поддержу коллегу, напомню пример конкретной РАБОТАЮЩЕЙ системы. Железо, двухпроцессорный (два Xeon 3.0) сервер, 1 гиг ОЗУ, RAID-5 360 Gb. 10 млн. записей в сутки плюс по базе аналитические отчеты (по данным за последние 12 месяцев). А вы, уважаемый ЛП, можете чем-нибудь подобным похвастаться ?-)
8 авг 07, 20:34    [4499249]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
LittleCat

Хоть вопрос не ко мне, но поддержу коллегу, напомню пример конкретной РАБОТАЮЩЕЙ системы. Железо, двухпроцессорный (два Xeon 3.0) сервер, 1 гиг ОЗУ, RAID-5 360 Gb. 10 млн. записей в сутки плюс по базе аналитические отчеты (по данным за последние 12 месяцев). А вы, уважаемый ЛП, можете чем-нибудь подобным похвастаться ?-)

У записей есть еще и размер: две таблы по 10 млн записей могут по объему на диске отличаться в разы.
Да и вообще, без выяснения деталей на месте, всего этого не достаточно. Что там за аналитические отчеты тоже еще смотреть надо: они могут ночью вычисляться, а днем смотри не хочу этих 100 результирующих записей. Или это типа оперативные запросы к 10млн*364?
Но по любому, наверное, есть чем похвастаться РСУБД на TPC как минимум. Там результат фиксируется независимыми экспертами и в соответствии с определенными правилами.
8 авг 07, 21:30    [4499330]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
walking_around
Guest
mr.badguy
Можно поподробнее про пайпы?

С ума сойти... вопрос правильный прозвучал:
1. характер запросов на чтение
2. время хранения данных

PS пайпы - это... пайпы... в начало трубы пишешь, из конца трубы тащишь... если в трубе ничего нет - то читать нельзя... если труба заполнена - нельзя писать... чтение не блокирует запись. Читать можно только последовательно, то что записано. Прочитанное не сохраняется. Т.к. задавая вопрос, вы не обусловили вышеописанные пункты 1 и 2, я сделал вывод, что пайпы вам подходят.... догоняете?
8 авг 07, 22:27    [4499417]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
MX -- ALEX
Guest
ЛП

Два вопроса лично к Вам.
Куда уехал цирк? И почему Вы остались?


туточки мы ...
куда тут нахрен денешься - заказчики стоят в очередь - ждут быстроходную CACHE
не успеваем ставить

а насчет задачи - невозможно сформулировать все условия - некоторая
неопределенность остается всегда
в данном случае все достаточно четко оговорено
по контексту можно с большой вероятностью предполагать
записи не длиннее 220 байт :)
пусть автор меня поправит

в жизни часто приходится работать и с более неопределенными
постановками задачи - справляемся
9 авг 07, 00:29    [4499605]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
Пьяный Лох
Member

Откуда:
Сообщений: 3652
2 LittleCat
Хоть вопрос не ко мне, но поддержу коллегу напомню пример конкретной РАБОТАЮЩЕЙ системы.

И чего Вы этим примером хотели сказать???
Какое отношение эта работающая система имеет к задаче автора топика?

Песец. Был один клоун, теперь два.

Один кретинчег практически ничего не зная про условия задачи берется утверждать, что каша с этой задачей справится, да еще и "с запасом по скорости". Ни железо, ни объемы, ни требования к скорости - ваще ничё не известно, однако ж чудо-каша на двести двадцать процентов летать будет.

Второй уже который год куда попало суёт один и тот же пример одной и той же реализации одной и той же задачи - совершенно не обращая внимания на то, что в топике обсуждается.
Скажите, Вы кроме этой системы - ни одной больше не сделали что-ли? Или зачем Вы повсюду суёте этот пример логирования сетевого трафика (для которого вообще говоря не нужна ни каша, ни какая другая СУБД)?

А вы, уважаемый ЛП, можете чем-нибудь подобным похвастаться ?-)

Я не собираюсь "хвастаться" какими-то системами, тем более одними и теми же, и уж тем более не имеющими отношения к топику.
9 авг 07, 01:38    [4499723]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
LittleCat
Member

Откуда: СПб
Сообщений: 435
Пьяный Лох

Я не собираюсь "хвастаться" какими-то системами, тем более одними и теми же, и уж тем более не имеющими отношения к топику.

Кроме растопыривания на форуме хоть чего-то работающего у автора за душой видимо нет. Слив защитан.
9 авг 07, 08:20    [4499907]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
LittleCat
Хоть вопрос не ко мне, но поддержу коллегу, напомню пример конкретной РАБОТАЮЩЕЙ системы. Железо, двухпроцессорный (два Xeon 3.0) сервер, 1 гиг ОЗУ, RAID-5 360 Gb. 10 млн. записей в сутки плюс по базе аналитические отчеты (по данным за последние 12 месяцев). А вы, уважаемый ЛП, можете чем-нибудь подобным похвастаться ?-)


произвольные аналитические отчеты ?

P.S. цырк вернулся
9 авг 07, 08:39    [4499943]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
Bogdanov Andrey
Member

Откуда: Да уже и сам не знаю...
Сообщений: 2203
LittleCat

Хоть вопрос не ко мне, но поддержу коллегу, напомню пример конкретной РАБОТАЮЩЕЙ системы. Железо, двухпроцессорный (два Xeon 3.0) сервер, 1 гиг ОЗУ, RAID-5 360 Gb. 10 млн. записей в сутки плюс по базе аналитические отчеты (по данным за последние 12 месяцев). А вы, уважаемый ЛП, можете чем-нибудь подобным похвастаться ?-)
Пара вопросов.
Первое: Где в вашем примере "10 Гц с одного источника(максимум), планируемое кол-во источников (каналов) для данного проекта порядка 100"?
Второе: 12 месяцев значит? Итого 360Гб/365 дней/10 млн имеем 100 байт на одну запись (это вместе с индесками и прочей лабудой). Я правильно посчитал?
9 авг 07, 09:58    [4500230]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
MX -- ALEX
Guest
не слушайте пьяных
тем более лохов

CACHE или GT.M потянет Вашу задачу без напряга
9 авг 07, 11:35    [4500949]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
tygra
Member

Откуда: Тверь (Иркутск, Край)
Сообщений: 9997
MX -- ALEX
не слушайте пьяных
тем более лохов

CACHE или GT.M потянет Вашу задачу без напряга

Канэчна! Только сервер 16-процессорный купите, и напряга не будет

Хоть объекты и не в тему
Но настолько наверное полезные, что везде подойдут

-- Tygra's --
Мои фотогалереи тут и тут
9 авг 07, 12:09    [4501263]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
LittleCat
Member

Откуда: СПб
Сообщений: 435
Bogdanov Andrey

Первое: Где в вашем примере "10 Гц с одного источника(максимум), планируемое кол-во источников (каналов) для данного проекта порядка 100"?
Второе: 12 месяцев значит? Итого 360Гб/365 дней/10 млн имеем 100 байт на одну запись (это вместе с индесками и прочей лабудой). Я правильно посчитал?

Я же не решал задачу автора, поэтому искать в моем примере точное соответствие по меньшей мере странно :-) Указанный пример был приведен исключительно для оценки возможностей Cache для решения задач данного класса, а именно массовая запись в базу с одновременной обработкой этих данных. Интенсивность записи до трех сотен в секунду с размером от нескольких байт до нескольких сотен байт. Параллельно эти данные обрабатываются, агрегируются в вид, удобный для работы аналитики, и первоначальные данные стираются, поэтому прямой подсчет объема за 12 месяцев особого смысла также не имеет :-) Ни и как Вы могли заметить, в примере приведены параметры железа, на котором все это работает, что позволяет сделать хотя бы оценку, во что выльется решение аналогичной задачи другого масштаба (это к высказыванию tygra насчет 16-ти процессорного сервера)
9 авг 07, 12:30    [4501450]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
Bogdanov Andrey
Member

Откуда: Да уже и сам не знаю...
Сообщений: 2203
LittleCat
Параллельно эти данные обрабатываются, агрегируются в вид, удобный для работы аналитики, и первоначальные данные стираются

Таким образом, утверждая, что "аналитические отчеты (по данным за последние 12 месяцев). " вы несколько слукавили. Аналитические отчеты получаются у вас не по исходным данным за 12 месяцев, а по некоторому весьма маленькому заранее аггрегированному массиву.
9 авг 07, 12:43    [4501558]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
LittleCat
[quot Bogdanov Andrey]
Я же не решал задачу автора


Вы проигнорировали вопрос о том поддерживается ли ПРОИЗВОЛЬНАЯ аналитика или БД заранее построена таким образом, чтобы можно было строить ОПРЕДЕЛЕННЫЕ аналитические отчеты
9 авг 07, 12:51    [4501620]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
LittleCat
Member

Откуда: СПб
Сообщений: 435
Bogdanov Andrey
LittleCat
Параллельно эти данные обрабатываются, агрегируются в вид, удобный для работы аналитики, и первоначальные данные стираются

Таким образом, утверждая, что "аналитические отчеты (по данным за последние 12 месяцев). " вы несколько слукавили. Аналитические отчеты получаются у вас не по исходным данным за 12 месяцев, а по некоторому весьма маленькому заранее аггрегированному массиву.

Я бы не назвал этот массив "весьма маленьким", за год 100-160 Гб агрегированных данных. Можно было бы и бОльший период обрабатывать, но на этапе проектирования немножко промахнулись с оценкой дискового объема.
Gluk (Kazan)
Вы проигнорировали вопрос о том поддерживается ли ПРОИЗВОЛЬНАЯ аналитика или БД заранее построена таким образом, чтобы можно было строить ОПРЕДЕЛЕННЫЕ аналитические отчеты
Поддерживается произвольная аналитика, однако под некоторые ключевые параметры анализа естественно была произведена оптимизация индексов :-) Идея была использовать Crystal Reports, чтобы потребитель сам ваял себе необходимые отчеты, однако идея эта оказалась порочной, увы... Не с точки зрения технической, конечно, а с психологической и организационной.
9 авг 07, 13:21    [4501902]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
LittleCat
Не с точки зрения технической, конечно, а с психологической и организационной.


Слабо верится увы.
9 авг 07, 13:50    [4502236]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
LittleCat
Member

Откуда: СПб
Сообщений: 435
Gluk (Kazan)
LittleCat
Не с точки зрения технической, конечно, а с психологической и организационной.


Слабо верится увы.

А чего там не верится ? Пользователь сам отчеты писать не хочет, он хочет чтобы ему принесли готовенькие, но при этом часто не может толком объяснить, а чего же ему надо, с одной стороны, а с другой система вроде уже куплена и функционирует, и ему непонятно, а за что же еще деньги платить , ведь разработчику же раз плюнуть еще десяток отчетиков ему наклепать :-)
9 авг 07, 14:03    [4502390]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте легковесную и быструю СУБД  [new]
Gluk (Kazan)
Member

Откуда:
Сообщений: 9365
LittleCat
Gluk (Kazan)
LittleCat
Не с точки зрения технической, конечно, а с психологической и организационной.


Слабо верится увы.

А чего там не верится ? Пользователь сам отчеты писать не хочет, он хочет чтобы ему принесли готовенькие, но при этом часто не может толком объяснить, а чего же ему надо, с одной стороны, а с другой система вроде уже куплена и функционирует, и ему непонятно, а за что же еще деньги платить , ведь разработчику же раз плюнуть еще десяток отчетиков ему наклепать :-)


Угу, особливо если вспомнить, что ему раз плюнуть пару новых счетчиков создать для какого нибудь нового отчета ;)

У нас пользователи сами отчеты рисуют в FR, ничего, не надорвались пока
9 авг 07, 14:14    [4502483]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить