Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Выбор БД для проекта с 1ТБ данных  [new]
1_VV
Guest
Добрый день!

Посоветуйте, пожалуйста, какую БД выбрать для такого проекта:

- есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах.
- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).
- результат выборки нужно представить в обозримом виде.
- пользовательский интерфейс должен быть написан на VC++, платформа Windows XP
- нет нужды в сетях, интернете, многопользовательских делах.

Спасибо!

VV
3 мар 05, 10:54    [1358922]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
tygra
Member

Откуда: Тверь (Иркутск, Край)
Сообщений: 9997
автор
- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).

Из них - это из двоичных данных? Или данные для выборки лежат отдельно от двоичных?

-- Tygra's --
3 мар 05, 11:09    [1359012]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
avilm
Member

Откуда:
Сообщений: 84
1_VV
Добрый день!

Посоветуйте, пожалуйста, какую БД выбрать для такого проекта:

- есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах.
- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).
- результат выборки нужно представить в обозримом виде.
- пользовательский интерфейс должен быть написан на VC++, платформа Windows XP
- нет нужды в сетях, интернете, многопользовательских делах.

Спасибо!

VV


Ну, вообще по скорости выполнения запросов вроде как MySQL самая быстрая. А так, все конечно зависит от конкретных нужд и возможностей, то есть по сути тут любая БД подойдет (Oracle, MSSQL, DB2 и т.д.)
3 мар 05, 11:23    [1359096]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Alexey Rovdo
Member

Откуда: Москва
Сообщений: 913
ООСУБД Versant Developer Suite.
Можно попробовать FastObjects j7. Скорось будет высочайшей, но вот потянет ли FastObjects базу в 1 Тб, точно сказать не могу.
Основные плюсы обоих систем - прямая интеграция с C++, что позволяет существенно сократить время и упростить разработку приложений. Минусы - некоторые проблемы при необходимости получения сложной аналитики (отчетов) (в особенности это касается FastObjects).
3 мар 05, 11:23    [1359098]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
1_VV

- есть сотни гигабайт цифровых данных (короткие floats), расположенных в огромном количестве маленьких (порядка 1 кб) двоичных файлах.
- пользователю нужно выбирать из них данные по небольшому набору критериев (например: временной интервал плюс ещё один-два параметра).

Ну у Оракла, например, можно организоваить комбинрованное секционирование (партицирование как здесь иногда говорят) по диапазону и Хеш по параметру. Тогда за счет пропуска ненужных секций он будет искать при выполнении подобных запросов не в сотнях мегобайт а в 1 или 0.5 Гб.
3 мар 05, 12:57    [1359552]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Alexey Sh
Member

Откуда: SPB
Сообщений: 1930
Oracle Database 10g Personal Edition
3 мар 05, 14:21    [1360056]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
1_VV
Guest
Dear Gentlemen.

большое спасибо за отличные советы!

- Все файлы имеют одинаковую структуру (360 полей Х от 300 до 3000 записей из урезанных 2-х байтовых floats).
- Количество возможных вариантов запросов очень мало (порядка 10).
- Нет нужды в real-time.
- Заказчик не планирует затраты на покупку БД дороже VFoxPro.

Исходя из этого и следуя вашим советам выбираю для теста MySQL.

VV
3 мар 05, 14:49    [1360232]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
segun
Member

Откуда: Москва
Сообщений: 504
хорошо что хоть кластер не успели предложить :)
3 мар 05, 15:28    [1360413]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Scott Tiger
Member

Откуда: вмваре
Сообщений: 6904
Возможно, имеет смысл написать свою прикладу, которая будет напрямую работать с файлами, дабы не грузить их постоянно в БД. С MySQL и т.п. могут быть проблемы в эксплуатации, обусловленные невысоким качеством таких продуктов.
3 мар 05, 15:42    [1360473]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Хрен
Member

Откуда: Brisbane
Сообщений: 1455
Специально для Scott Tiger:
"Coverity's analysis of MySQL found an average of one bug in every 4,000 lines of code--results that are at least four times better than is typical with commercial software." - вот ссылка
3 мар 05, 16:01    [1360581]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Scott Tiger
Member

Откуда: вмваре
Сообщений: 6904
Сношал я в орал этих продажных аналитиков.
3 мар 05, 16:03    [1360592]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
1_VV
Guest
Да, это отличная идея,

тем более что все файлы имеют стандартные имена, в которых заложено всё что нужно для запросов (дата, время и т.д.).

Возможно, стоит попробовать держать до миллиона записей (по одной на файл) в mdb. Туда собирать взятые из имени файла параметры и путь к файлу.
А по запросу пользователя временно импортировать нужные файлы в MySQL для обработки?

VV
3 мар 05, 16:07    [1360616]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Хрен
Member

Откуда: Brisbane
Сообщений: 1455
Scott Tiger
Сношал я в орал этих продажных аналитиков.


достойный ответ.. жаль без аргументов.
3 мар 05, 16:11    [1360650]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Alexey Rovdo
Member

Откуда: Москва
Сообщений: 913
Ну вот и разобрались. А то как напишут - 1 Тб - главное не мелочиться.
3 мар 05, 16:11    [1360651]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Scott Tiger
Member

Откуда: вмваре
Сообщений: 6904
А зачем такие сложности с индексом файлов и т.д.? Как ты говоришь, имя файла вычисляемо по заданным входным параметрам. Просто это будет СУБД без SQL и заточенная под одну-единственную задачу. Трудозатраты, разумеется, выше, но результат может быть лучше, если всё хорошо сделать. Возможные узкие места - производительность файловой системы на мелких чтениях (заведомо невысокая) и количестве файлов.
3 мар 05, 16:13    [1360657]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Scott Tiger
Member

Откуда: вмваре
Сообщений: 6904
2Хрен - я без особых аргументов сношал. Они всегда врут в интересах того, кто платит им деньги.
3 мар 05, 16:14    [1360664]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Хрен
Member

Откуда: Brisbane
Сообщений: 1455
2Scott:
"откуда у нее шерстяной костюм?? ты проверял? я тоже - нет. Значит ворованое" (c) Жванецкий
3 мар 05, 16:16    [1360682]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
1_VV

Заказчик не планирует затраты на покупку БД дороже VFoxPro.

Но планирует иметь БД на 1Тб? Раз уж у них такие планы в принципе прокататывают, то почему бы им не спланировать вложить в дело 10 баксов и получить 10 лимонов? Зачем париться с какими-то базами?
3 мар 05, 16:33    [1360799]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
AI
Member

Откуда: Москва
Сообщений: 2817
Хрен
2Scott:
"откуда у нее шерстяной костюм?? ты проверял? я тоже - нет. Значит ворованое" (c) Жванецкий


Не все, что от Жванецкого - хорошо сказано.
4 мар 05, 11:41    [1362782]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 67393
Блог
1_VV
- Заказчик не планирует затраты на покупку БД дороже VFoxPro.

Для сведения: Personal Oracle, который Вам предложили, в полтора раза дешевле, нежели VFP :)
9 мар 05, 01:04    [1370148]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
mv
Member

Откуда:
Сообщений: 8876
Scott Tiger
Сношал я в орал этих продажных аналитиков.


1_VV
Да, это отличная идея,

тем более что все файлы имеют стандартные имена, в которых заложено всё что нужно ...

VV

:)
9 мар 05, 04:33    [1370188]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
mv
Member

Откуда:
Сообщений: 8876
Alexey Rovdo
ООСУБД Versant Developer Suite.
Можно попробовать FastObjects j7. Скорось будет высочайшей, но вот потянет ли FastObjects базу в 1 Тб, точно сказать не могу.
Основные плюсы обоих систем - прямая интеграция с C++, что позволяет существенно сократить время и упростить разработку приложений. Минусы - некоторые проблемы при необходимости получения сложной аналитики (отчетов) (в особенности это касается FastObjects).


Уважаемый Alexey Rovdo, я с Вашей подачи потратил некоторое время на изучение спецификаций Versant Open Access Suite, не подскажете: нет ли к ним иного API, чем классы Java/C++ (ну, меня конкретно Delphi <-> FastObjects j7 интересует).
Где можно найти спецификации на возможности/ограничения FastObjects j7?
Какие средства навигации по объектному пространства используются?
Какие средства синхронизации локальных (клиентских) объектных пространств есть ли там вообще такое понятие?
Наличие средств поддержки эволюции модели (изменение версии структуры метаданных)/эволюции данных (версии хранимых объектов)?
Имеет ли смысл использование технологии для локальных приложений невысокой сложности (пара десятков классов(со структурой в потора десятка атрибутов)/ассоциаций, несколько десятков тысяч объектов)?
Средства репликации данных?
Средства работы клиентов с большими коллекциями (сотни тысяч объектов и больше)?
Входит ли в состав среды разработки система визуализации (интерактивные компоненты/классы, средства создания отчетов) (я ж с Дельфей - :-))?


И я не нашел прайс - листа...

С уважением - mv
9 мар 05, 05:40    [1370200]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Licvidator_guest
Guest
автор
Исходя из этого и следуя вашим советам выбираю для теста MySQL.


А MySQL потянет терабайтную БД? Помнится мне, там было ограничение на БД в размере 2 Гб.
9 мар 05, 11:41    [1370883]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Хрен
Member

Откуда: Brisbane
Сообщений: 1455
Потянет. Ограничение было на размер таблицы и то, потому что размер файла ограничен 2 Г на определенных файловх системах.
9 мар 05, 12:11    [1371056]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для проекта с 1ТБ данных  [new]
Alexey Rovdo
Member

Откуда: Москва
Сообщений: 913
mv

Уважаемый Alexey Rovdo, я с Вашей подачи потратил некоторое время на изучение спецификаций Versant Open Access Suite, не подскажете: нет ли к ним иного API, чем классы Java/C++ (ну, меня конкретно Delphi <-> FastObjects t7 интересует).
[quot]

Java/C++/C#(и др. IL-совместимые языки).
C Delphi, увы, FO не интегрируется.

[quot mv]
Где можно найти спецификации на возможности/ограничения FastObjects j7?


Самые подробные спецификации по FastObjects находятся на community.fastobjects.com

mv

Какие средства навигации по объектному пространства используются?


Навигация по ссылкам, OQL-запросы, именованные объекты, итераторы.

mv

Какие средства синхронизации локальных (клиентских) объектных пространств есть ли там вообще такое понятие?


Транзакции, блокировка в рамках транзакции объектов, загруженных в кэш клиента, с открытием новой транзакции старые объекты можно автоматически актуализировать текущим содержимым БД (т.е. мы синхронизируем локальные объектные пространства не друг с другом, а с объектным пространством единой БД).

mv

Наличие средств поддержки эволюции модели (изменение версии структуры метаданных)/эволюции данных (версии хранимых объектов)?


Определенные средства есть (эволюция модели, версии объектов). Лучше обратиться к технической документации (стр. ~137) продукта для детального ознакомления с ними. От себя только добавлю, что в VDS таких средств больше, а их возможности шире.

mv

Имеет ли смысл использование технологии для локальных приложений невысокой сложности (пара десятков классов(со структурой в потора десятка атрибутов)/ассоциаций, несколько десятков тысяч объектов)?


Да, имеет. Основные преимущества - быстрая разработка. Основной недостаток - цена. Т.е. имеет смысл, если вы разрабатываете много таких приложений, готовите тиражируемый продукт со встроенной БД (FastObjects очень хорошо приспособлен для встраивания в приложения) или вам по вкусу именно ОО-подход, а SQL вы просто не любите.

mv

Средства репликации данных?


Синхронная и асинхронная репликация, кластеризация, master/slave-репликация.

mv

Средства работы клиентов с большими коллекциями (сотни тысяч объектов и больше)?


Об особенностях обработки коллекций лучше всего почитать здесь (C++) и здесь (Java).

mv

Входит ли в состав среды разработки система визуализации (интерактивные компоненты/классы, средства создания отчетов) (я ж с Дельфей - :-))?


Да входит (разработка структуры классов). Кроме этого FastObjects интегрируется с различными IDE (увы не с Дельфями).
Для C++: MS VS, C++-компиляторы под Linux, Unix.
Для Java: Borland JBuilder, Sun One Studio, Eclipse (IBM WAD ... ), Forte
Для C# и др. .NET языков: MS VS .NET.

Подробнее см. здесь.

Для построения отчетов можно использовать типовые сторонние средства, осуществляя доступ к БД FastObjects через ODBC (FastObjects Connect) или объектно-ориентированный генератор отчетов Qint (см. www.qint.de).

mv

И я не нашел прайс - листа...


Официальные цены для России здесь. Разумеется, это максимальные значения. Есть много способов их снизить и притом значительно.

С уважением, Алексей Ровдо.
9 мар 05, 12:34    [1371173]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить