Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4 5 6   вперед  Ctrl      все
 Выбор БД для личного пользования с большими объемами...  [new]
egorkkk
Member

Откуда:
Сообщений: 6
Здравствуйте уважаемые участники форума!

Прошу помочь с выбором базы данных.

Есть необходимость заводить в базу большое количество однотипных данных для последующего анализа. С данной базой буду работать я один, локально. Первое время (год) она будет стоять на обычном компьютере (windows xp). Жестких требований к скорости исполнения запросов нет.

Будет одна основная таблица примерного вида: int, int, int, vchar(16), int, int, int.
В день будет поступать в среднем 200000-500000 строк.
Анализ будет состоять из средних по сложности запросов объемом до "месяц"-"год" в рамках одной таблицы.

Мои пожелания/требования к БД:

- Хотелось бы, что бы база нормально тянула большие объемы (~150 000 000 строк в одной таблице) и при этом более менее шустро исполняла запросы с подобным объемом.
- Возможность жать базу (т.к. дисковые пространства ограничены по определенным причинам), но не критично все же.
- Надежность базы (винда повисла, электричество отключили... этот пункт очень важен, т.к. данные повторно не получить), backup не отменяется, естественно.
- Было бы здорово иметь встроенную систему отчетности (по таймеру исполнение запросов и складирование результатов), но как я понимаю, это просто реализовать и так?!
- Т.к. компьютер рабочий - хотелось бы, что бы база не съедала все ресурсы, т.е. ограничение памяти ~ 512мб.
- Бесплатность
- Кросплатформенность


Прошу вас высказать ваше мнение, на какой БД остановиться, стоит обратить внимание (а выбор не богат :)).
Быть может будут советы по настройкам, с удовольствием выслушаю.
Заранее спасибо!!!
26 мар 13, 10:34    [14095472]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Если убрать требования кроссплатформенности, то подойдет MS SQL 2012 Express Edition with Advanced Services.

автор
- Т.к. компьютер рабочий - хотелось бы, что бы база не съедала все ресурсы, т.е. ограничение памяти ~ 512мб.


Урежете память - получите жуткую дисковую активность. Оно Вам надо?

автор
Надежность базы (винда повисла, электричество отключили... этот пункт очень важен


Бесперебойник + данные на аппаратном хотя бы RAID-1.
26 мар 13, 11:54    [14095977]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
egorkkk
Member

Откуда:
Сообщений: 6
pkarklin
Если убрать требования кроссплатформенности, то подойдет MS SQL 2012 Express Edition with Advanced Services.

автор
- Т.к. компьютер рабочий - хотелось бы, что бы база не съедала все ресурсы, т.е. ограничение памяти ~ 512мб.


Урежете память - получите жуткую дисковую активность. Оно Вам надо?

автор
Надежность базы (винда повисла, электричество отключили... этот пункт очень важен


Бесперебойник + данные на аппаратном хотя бы RAID-1.


Боюсь упереться в ограничение 10гб да и слишком он перегруженный по мне + в будущем все же возможен переход на сервачек с *nix.

Данные важны, но все же на первых этапах вкладываться я не буду, хочу ограничиться ежедневными backup'ами и надежностью самой БД :)

Спасибо за проявленное внимание.
26 мар 13, 12:35    [14096211]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
egorkkk
Боюсь упереться в ограничение 10гб


Это ограничение на размер одной бд, которых на одном инстансе м.б. 32 767.
26 мар 13, 12:48    [14096293]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54849

egorkkk
хочу ограничиться ежедневными backup'ами и надежностью самой БД :)

Firebird (а точнее ещё Interbase) разрабатывалась специально для таких условий. Главное не
быть ССЗБ и не отключать кэш на запись.

Posted via ActualForum NNTP Server 1.5

26 мар 13, 12:57    [14096345]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 67534
Блог
Dimitry Sibiryakov
Главное не быть ССЗБ и не отключать кэш на запись.

Именно не отключать?
26 мар 13, 15:10    [14097261]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 67534
Блог
egorkkk
Прошу вас высказать ваше мнение, на какой БД остановиться, стоит обратить внимание

База получается достаточно солидного размера. Если сложить это с моими кривыми руками, я бы не рисковал брать инструменты "попроще" и искал бы из большой тройки. Шустрота запросов... при скромной памяти, загруженном процессоре и необходимости ворошить по пол-базы вслепую её никто обещать не сможет. Что касается ресурсов... я бы не советовал жёстко ограничивать базу, скорее имеет смысл поднимать-опускать сервер или просто поставить его на виртуалку.

Надёжность..... ну не знаю. У меня на домашнем с ораклом за кучу лет не было ни одной проблемы при том, что комп периодически выключался кнопкой питания. А кто-то и с бесперебойником уронить ухитряется ))
26 мар 13, 15:18    [14097313]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54849

softwarer
Именно не отключать?

У-упс... Рефлекс. Конечно же не включать. Когда писал думал о "не отключать forced
writes", но автору это ни о чём не говорило бы.

Posted via ActualForum NNTP Server 1.5

26 мар 13, 15:30    [14097400]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2559
Память ныне стоит копейки. Вообще, теперь можно собирать компьютеры с невообразимыми совсем недавно характеристиками по смешным ценам. 32 гига ОЗУ за менее чем 7тр, 8 ядер за 6 тр, материнская плата за 2-3тр, SSD и те подешевели. На более дорогой, но по-прежнему настольной платформе - 2011 - можно 64 гига ОЗУ навставлять. И вообще базу лучше на отдельном компьютере держать, иначе это будет пытка.
26 мар 13, 15:53    [14097595]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
egorkkk
Member

Откуда:
Сообщений: 6
softwarer
egorkkk
Прошу вас высказать ваше мнение, на какой БД остановиться, стоит обратить внимание

База получается достаточно солидного размера. Если сложить это с моими кривыми руками, я бы не рисковал брать инструменты "попроще" и искал бы из большой тройки. Шустрота запросов... при скромной памяти, загруженном процессоре и необходимости ворошить по пол-базы вслепую её никто обещать не сможет. Что касается ресурсов... я бы не советовал жёстко ограничивать базу, скорее имеет смысл поднимать-опускать сервер или просто поставить его на виртуалку.

Надёжность..... ну не знаю. У меня на домашнем с ораклом за кучу лет не было ни одной проблемы при том, что комп периодически выключался кнопкой питания. А кто-то и с бесперебойником уронить ухитряется ))


По поводу "шустрости" - это конечно относительно :)

А что относится к большой тройке?

Вообще изначально присматривался к postgresql, в том числе по причине поддержки большого кол-ва поддерживаемых языков для написания внутренней логики (триггеры и пр) и скорее тут момент какой-то симпатии...
26 мар 13, 16:32    [14097848]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
egorkkk
Member

Откуда:
Сообщений: 6
Victor Metelitsa
Память ныне стоит копейки. Вообще, теперь можно собирать компьютеры с невообразимыми совсем недавно характеристиками по смешным ценам. 32 гига ОЗУ за менее чем 7тр, 8 ядер за 6 тр, материнская плата за 2-3тр, SSD и те подешевели. На более дорогой, но по-прежнему настольной платформе - 2011 - можно 64 гига ОЗУ навставлять. И вообще базу лучше на отдельном компьютере держать, иначе это будет пытка.


Это конечно же так, но все же на данный момент вкладывать средства считаю не рациональным. Буду терпеть или как было сказано выше - поднимать по необходимости.
26 мар 13, 16:36    [14097878]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
Ы
Guest
egorkkk,

PostgreSQL вполне потянет ваши объемы, разве что лучше сразу же ее ставить на Linux или *BSD. У меня была таблица похожей на вашу структуры на ~420 млн. записей, простые запросы к ней выполнялись за вполне приемлемое для веб время.
26 мар 13, 17:14    [14098146]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30290
softwarer
База получается достаточно солидного размера.

где?
в среднем 350к записей в день, запись где-то 42 байта, это выходит 14мб в день, 420мб в месяц, или 5 гиг в год.
Допустим, запись в 2 раза больше (или больше, или так хранится), выходит 10 гиг. Даже если все столбцы проиндексировать, выйдет ну еще +5 гиг. И того - 15 гиг в год.
Не вижу "солидных размеров".
26 мар 13, 22:34    [14099213]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2559
Найти одну запись среди 120 миллионов или просуммировать/прогруппировать 12 миллионов из 120 - мягко говоря, не совсем одно и то же по сложности/времени выполнения. Железо, должно быть, весьма слабое. Что-то, возможно, забыто (я в таких задачах привык видеть колонку с датовременем).
27 мар 13, 08:25    [14099891]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
Alexey Kuznetsov
Member

Откуда: Krasnoyarsk
Сообщений: 1141
egorkkk,

DB2 Express-C - лучше чем аналог от MS, тем что нет лимита на размер БД и поддерживается еще и линукс.
27 мар 13, 12:05    [14100900]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
egorkkk
Member

Откуда:
Сообщений: 6
Решил все же остановиться на MS SQL 2012 Express Edition with Advanced Services, хотя бы на первое время.

Victor Metelitsa
Найти одну запись среди 120 миллионов или просуммировать/прогруппировать 12 миллионов из 120 - мягко говоря, не совсем одно и то же по сложности/времени выполнения. Железо, должно быть, весьма слабое. Что-то, возможно, забыто (я в таких задачах привык видеть колонку с датовременем).


датовремя я думал сделать в формате int (unix-time), хотя сейчас уже не уверен в эффективности данного подхода.

В принципе, выбор сделан, всем большое спасибо за ваше внимание!

Если у кого есть что добавить, по любому поводу, с радостью выслушаю!
27 мар 13, 12:40    [14101191]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
egorkkk
датовремя я думал сделать в формате int (unix-time), хотя сейчас уже не уверен в эффективности данного подхода.


А с какой точностью Вам необходимо хранить дату\время?
27 мар 13, 12:54    [14101311]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
egorkkk
датовремя я думал сделать в формате int (unix-time), хотя сейчас уже не уверен в эффективности данного подхода.
а Вы думаете сам сервер ее строкой хранит?
27 мар 13, 13:26    [14101515]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
egorkkk
Member

Откуда:
Сообщений: 6
pkarklin
egorkkk
датовремя я думал сделать в формате int (unix-time), хотя сейчас уже не уверен в эффективности данного подхода.


А с какой точностью Вам необходимо хранить дату\время?


С точностью до милисекунд, начиная с годов соответственно.
Сейчас посмотрел, в mssql datatime хранит все, включая ms, и весит всего 8 байт, о таком и мечтать не мог.
unix-time отпадает.
27 мар 13, 13:30    [14101537]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
egorkkk
С точностью до милисекунд, начиная с годов соответственно.
Сейчас посмотрел, в mssql datatime хранит все, включая ms, и весит всего 8 байт, о таком и мечтать не мог.


Следует быть внимательней:

BOL->datetime
...
datetime values are rounded to increments of .000, .003, or .007 seconds

Если нужна точность до единиц миллисекунд то Вам будет нужен datetime2(3) и это будет 7ть байт.
27 мар 13, 13:44    [14101607]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
NikolayV81
Member

Откуда: Москва
Сообщений: 1112
egorkkk
Решил все же остановиться на MS SQL 2012 Express Edition with Advanced Services, хотя бы на первое время.


Зря вы на MS завязываетесь, в приложении наверняка появится желание хранить доп. информацию, потом агрегаты и т.д., и в итоге вы попадёте на предел установленный для бесплатного сервера, для ваших нужд действительно подойдёт firebird, его сервер практически не потребляет памяти в неактивном режиме, отключение кэширования защищает от зависаний софта ( XP ), миграция между nix-win-nix - backup-restore ( если udf-ки сочинять не будете ).

кстати а express у микрософт можно использовать для рабочих программ ( с целью получения прибыли )?

+ у firebird есть IBEXPERT до которого ИМХО даже оракловым клиентам далеко...
25 апр 13, 12:19    [14229280]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 67534
Блог
NikolayV81
+ у firebird есть IBEXPERT до которого ИМХО даже оракловым клиентам далеко...

Очень ИМХО :)
25 апр 13, 12:22    [14229311]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
sphinx_mv
Member [заблокирован]

Откуда:
Сообщений: 1672
NikolayV81
egorkkk
Решил все же остановиться на MS SQL 2012 Express Edition with Advanced Services, хотя бы на первое время.

Зря вы на MS завязываетесь, в приложении наверняка появится желание хранить доп. информацию, потом агрегаты и т.д., и в итоге вы попадёте на предел установленный для бесплатного сервера,
Ага...
Вот только имеющееся ограничение - "всего" по 10GB на базу (коих на одном сервере может быть сильно больше одной). Такое даже не всякое предприятие нагенерит за "первое время"...
Не говоря уже про полную совместимость со всем МСовским софтом...
NikolayV81
для ваших нужд действительно подойдёт firebird, его сервер практически не потребляет памяти в неактивном режиме, отключение кэширования защищает от зависаний софта ( XP ), миграция между nix-win-nix - backup-restore ( если udf-ки сочинять не будете ).
"Кроссплатформенного софта не существует! В природе!" (с) - распечатать большими буквами, прибить на стену над монитором, выдавать (на входе) всем "приходящим" внедряльщикам-продавальщикам...
Любое утверждение об обратном - "маркетинговые сказки"...

И уж точно про "все замечательно" в firebird тоже (как-нибудь) не стОит - каждый сервер имеет достаточное количество своих индивидуальных плюсов и минусов. И firebird тому ни разу не исключение...
NikolayV81
кстати а express у микрософт можно использовать для рабочих программ ( с целью получения прибыли )?
Нет в нем таких ограничений.
NikolayV81
+ у firebird есть IBEXPERT до которого ИМХО даже оракловым клиентам далеко...
Улыбнуло...
Ну, а сколько же "оракловых клиентов" Вы знаете? Хотя бы пару-тройку штук наберется? Чтобы было что сравнивать c ibexpert'ом?
Кстати... ibexpert - он точно "аж целый один"?! Ну, тогда, это, "ой, как все сурово"...
25 апр 13, 13:13    [14229640]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30290
sphinx_mv
Ну, а сколько же "оракловых клиентов" Вы знаете? Хотя бы пару-тройку штук наберется? Чтобы было что сравнивать c ibexpert'ом?
Кстати... ibexpert - он точно "аж целый один"?! Ну, тогда, это, "ой, как все сурово"...

ржать не надо, т.к. вы его не видели. Может случиться диссонанс. IExpert - не один. Для IB/FB подобных сред для разработчиков штук 10-15, наиболее популярных - где-то 4-5.
25 апр 13, 13:58    [14229928]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для личного пользования с большими объемами...  [new]
sphinx_mv
Member [заблокирован]

Откуда:
Сообщений: 1672
kdv
sphinx_mv
Ну, а сколько же "оракловых клиентов" Вы знаете? Хотя бы пару-тройку штук наберется? Чтобы было что сравнивать c ibexpert'ом?
Кстати... ibexpert - он точно "аж целый один"?! Ну, тогда, это, "ой, как все сурово"...

ржать не надо, т.к. вы его не видели.
Ржать, таки, надо - потому как вменяемого ответа по поводу "количества клиентов" оракла (пока?) так и не последовало...

И, кстати, переустановите систему на хрустальном шаре - глючит немеряно...
Соответственно, не Вам судить, с какими "поделиями", выдаваемые за "крутой софт" мне в этой жизни прилось столкнуться - и не только видеть, но даже и пользоваться... Я, конечно, допускаю, что за время, которое прошло с тех пор (относительно ibexpert'а) что-то (теоретически) могло измениться, но уж софтом "всех времен и народов" он за это время точно не стал. Как, в-прочем, и сам firebird...
kdv
Может случиться диссонанс.
Судя по всему, у Вас он уже случился. Очевидно, от "немеряной крутизны" используемых продуктов...
kdv
IExpert - не один. Для IB/FB подобных сред для разработчиков штук 10-15, наиболее популярных - где-то 4-5.
"Вау-эффект" не достигнут - даже близко не стояло... Потому как под оракл таких приложений точно ничуть не меньше.
И нет практической необходимости особо подчеркивать, что со всеми (чтобы адекватно сравнивать) оппонент не то, чтобы "не пробовал", но и название ему окажется не особо знакомым...
25 апр 13, 14:37    [14230223]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4 5 6   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить