Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Выбор СУБД для задачи  [new]
Drinkins
Guest
Система собирает данные с железки, которая подключена к ноутбуку. Количество данных около 1000 цифирь в секунду. Время сбора около 20 минут. Хотелось бы все это затолкать в БД, поскольку потом их (цифири) нужно долго маслать, анализировать, хранить и т.д.
Итого:
1. Бесплатно
2. Маленький вес и малая прожорливость (усё пашет на буках)
3. Чтоб не опустила рога от напруги (за 20 минут приходит 1 200 000 данных)

рекомендации + линки плз
12 май 05, 10:08    [1531878]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Paul Sacks
Member

Откуда:
Сообщений: 1105
Drinkins

Итого:
1. Бесплатно
2. Маленький вес и малая прожорливость (усё пашет на буках)
3. Чтоб не опустила рога от напруги (за 20 минут приходит 1 200 000 данных)

рекомендации + линки плз

При таких ИТОГО я думаю, что вас спасет только DBF - формат...
12 май 05, 10:20    [1531917]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Александр Спелицин
Member

Откуда: Из ближайшего подмосковья.
Сообщений: 2519
Если нужно за 20 мин собрать 1.2М цифр, а следующий сбор буедт через несколько часов, то лучше всего писать в txt файл, а затем импортировать из файла в любую СУБД.
12 май 05, 10:25    [1531938]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Paul Sacks
Member

Откуда:
Сообщений: 1105
Мы говорим о Мб или Гб информации???
12 май 05, 10:34    [1531976]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Drinkins
Guest
Александр Спелицин
Если нужно за 20 мин собрать 1.2М цифр, а следующий сбор буедт через несколько часов, то лучше всего писать в txt файл, а затем импортировать из файла в любую СУБД.

Вы правы что в БД данные лучше писать не налету, а перегонять после съема, но вот в какую БД? (итого остаётся неизменным)

2 Paul Sacks: 1 200 000 цифр это около 3МБ
12 май 05, 11:00    [1532099]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Paul Sacks
Member

Откуда:
Сообщений: 1105
ИМХО: Ну вот для 3 Мб и подойдет DBF формат.
12 май 05, 11:13    [1532169]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
ChA
Member

Откуда: Москва
Сообщений: 11378
Drinkins
Что взламываем ? Или ?
12 май 05, 11:22    [1532212]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Drinkins
Guest
2 ChA: скорее ИЛИ. Чистая измерительная система, куча датчиков, железка, бук, оператор

2 Paul Sacks: Таких "по 3 Мб" тоже будет немало, измерения хранить надоть для поколений
12 май 05, 11:31    [1532253]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Александр Спелицин
Member

Откуда: Из ближайшего подмосковья.
Сообщений: 2519
А с какой периодичностью делаете изменения? Т.е. как часто наступают эти 20 минут?
12 май 05, 11:42    [1532296]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Drinkins
Guest
Александр Спелицин
А с какой периодичностью делаете изменения? Т.е. как часто наступают эти 20 минут?


Это зависит от оператора, будет ли он повторять измерение или нет.
Думаю для чистоты измерений будет как минимум 3 повтора. (эти 20 минут)
И все это с периодичностью 1 раз в день.
12 май 05, 11:49    [1532326]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
eNose
Member

Откуда:
Сообщений: 183063
3 МБ - это ж страшно МАЛО!
любая база, умеющая работать с in-memory tables.
а после снятия данных перекинуть в "железные" таблицы.



афтаподпесь: вардом праверял - фсё па-рузске!
12 май 05, 11:59    [1532373]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Александр Спелицин
Member

Откуда: Из ближайшего подмосковья.
Сообщений: 2519
3Mb * 3повтора * 22раб.дня * 12 мес = 2376 МБ в год.
Это на одного оператора.
Значит *.dbf, *.mdb отпадают. MSDE тоже.

Может все-таки посмотреть на платные СУБД? Хотя бы для одног центрального хранилища.

А операторы пусть раз в неделю сливают их данные с ноутов и чистят их базы.
Там уже и *.mdb и MSDE и IB можно будет поставить.
12 май 05, 12:48    [1532609]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Roman Ignatiev
Member

Откуда: Москва
Сообщений: 680
Firebird можно попробовать :)
Правда, скорее всего - по комарам кувалдой...
12 май 05, 16:10    [1533701]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Urri
Member

Откуда: Москва
Сообщений: 2693
А точно ли в дальнейшем для истории потребуется хранить все эти бешеные миллионы чисел? Может, их целесообразно как-то агрегировать?
Тогда вырисовывается примерно такая схема. Первичный вывод в txt или dbf, затем процедура закачивания в промежуточную таблицу БД-хранилища, затем агрегирование и перенос на постоянное место хранения.

3Mb * 3повтора * 22раб.дня * 12 мес = 2376 МБ в год. Но если в результате агрегирования от 3 Мб останется 200 Кб, то это всего лишь примерно 160 Мб в год. С учетом того, что индексы тоже место занимают, лет на 10 (плюс-минус) хватит СУБД с БД, ограниченной размером 2 Гб.

Первичные файлы тоже не выбрасываем, а архивируем и собираем для истории, как есть.
13 май 05, 01:09    [1534920]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
ap99ap
Member

Откуда: Москва
Сообщений: 162
eNose
3 МБ - это ж страшно МАЛО!
любая база, умеющая работать с in-memory tables.
а после снятия данных перекинуть в "железные" таблицы.


Поддерживаю.
Тем более что там бук, так что риска - никакого.
13 май 05, 01:45    [1534933]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Drinkins
Guest
Александр Спелицин
Может все-таки посмотреть на платные СУБД? Хотя бы для одног центрального хранилища.

А операторы пусть раз в неделю сливают их данные с ноутов и чистят их базы.
Там уже и *.mdb и MSDE и IB можно будет поставить.


с центральным хранилищем байга еще та будет, эти измерительные системы расползутся по клиентам, так потом на сопровождении жизнь потерять можно, поэтому склоняемся к однопользовательскому варианту

Urri


3Mb * 3повтора * 22раб.дня * 12 мес = 2376 МБ в год. Но если в результате агрегирования от 3 Мб останется 200 Кб, то это всего лишь примерно 160 Мб в год. С учетом того, что индексы тоже место занимают, лет на 10 (плюс-минус) хватит СУБД с БД, ограниченной размером 2 Гб.
Первичные файлы тоже не выбрасываем, а архивируем и собираем для истории, как есть.


Низя. Данные нужны в чистом виде, идут под анализ, даже годичной давности..
наука ёптыть
13 май 05, 08:50    [1535093]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
mir
Member

Откуда: Томск
Сообщений: 1027
Александр Спелицин
3Mb * 3повтора * 22раб.дня * 12 мес = 2376 МБ в год.
Это на одного оператора.
Значит *.dbf, *.mdb отпадают. MSDE тоже.
А почему MSDE отпадает?
13 май 05, 10:30    [1535436]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Urri
Member

Откуда: Москва
Сообщений: 2693
mir
Александр Спелицин
3Mb * 3повтора * 22раб.дня * 12 мес = 2376 МБ в год.
Это на одного оператора.
Значит *.dbf, *.mdb отпадают. MSDE тоже.
А почему MSDE отпадает?
А потому что размер базы ограничен 2-мя или 4-мя Гб (в зависимости от версии).
13 май 05, 11:45    [1535874]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
ЛП
Guest
Urri
А потому что размер базы ограничен 2-мя или 4-мя Гб (в зависимости от версии).

Уппсс... Это в какой это версии MSDE - 4Гб на базу?
13 май 05, 12:15    [1536120]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Sergey Ch
Member

Откуда: Благовещенск
Сообщений: 8894
ЛП
Urri
А потому что размер базы ограничен 2-мя или 4-мя Гб (в зависимости от версии).

Уппсс... Это в какой это версии MSDE - 4Гб на базу?

В 2005...
13 май 05, 16:41    [1537727]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Drinkins
Guest
Итого: начитался в дым, диаметр головы увеличился на 40%...
думаю использовать firebird embendded, но вот вопрос
что лучше использовать для доступа к нему DBExpress, IBX, али FIBPlus?
буду рад советам, ибо "грабли - если их нет, то они сразу есть"
13 май 05, 17:36    [1538001]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
Sergey Ch
Member

Откуда: Благовещенск
Сообщений: 8894
Drinkins
Система собирает данные с железки, которая подключена к ноутбуку. Количество данных около 1000 цифирь в секунду. Время сбора около 20 минут. Хотелось бы все это затолкать в БД, поскольку потом их (цифири) нужно долго маслать, анализировать, хранить и т.д.
Итого:
1. Бесплатно
2. Маленький вес и малая прожорливость (усё пашет на буках)
3. Чтоб не опустила рога от напруги (за 20 минут приходит 1 200 000 данных)

рекомендации + линки плз

Писал такую задачу на FoxPro (DBF) - собирались данные с датчиков... За час более 10 Mb... Ничего, все просто летало - хотя ноутбуки были очень старые...

Потом через Web service передавал на удаленный сервер, иногда несколько сеансов, так-как связь у нас была очень плохая...

Good luck!
13 май 05, 18:08    [1538126]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
SanyL
Member

Откуда: Москва
Сообщений: 4540
Могу предложить на выбор
FireBird
MySql
PostgreSQL (грят штука неплохая)
13 май 05, 22:00    [1538551]     Ответить | Цитировать Сообщить модератору
 Re: Выбор СУБД для задачи  [new]
VNS
Member

Откуда: Место съемок "Игры мотыльков"
Сообщений: 114
Drinkins
Итого: начитался в дым, диаметр головы увеличился на 40%...
думаю использовать firebird embendded, но вот вопрос
что лучше использовать для доступа к нему DBExpress, IBX, али FIBPlus?
буду рад советам, ибо "грабли - если их нет, то они сразу есть"


FireBird только не embendded. А про компоненты доступа что лучше использовать спросить непосредственно на форуме IB/FB. Там люди отзывчивые :-), если сразу не пошлют, то обязательно ответят. :-)
27 май 05, 06:40    [1574724]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить