Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
miksoft
Member

Откуда:
Сообщений: 38921
exploys
exploys
Кстати как у этих СУБД с принудительным кэшированием таблиц и временными таблицами у кого из них реализовано лучше?
Кстати с принудительным кэшированием судя по всему все нормально в MyISAM
Это только для индексов, но не для таблиц.
1 янв 11, 17:13    [10028136]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
sldkfjasdf
Guest
miksoft
...
Вставлять 1000 одиночных записей в секунду тоже не каждый сумеет, т.к. могут потребоваться специальные настройки и прочие телодвижения.

Как раз на днях нужно было выполнить сканирование файловой структуры и скопировать ее в табличку базы.
Сканирование выполнялось секунды три (удаленный компьютер), копирование в базу - мгновенно.
Около 5 000 записей (три поля: Id : integer, Path : varchar (260), Description : varchar (255)), уникальные ключи на поле Id и поле Path, операция "Update or Insert", все записи были добавлены в рамках одной транзакции.
FB 2.5 SS, никаких "доп настроек" не делали.
1 янв 11, 18:00    [10028196]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
exploys
Member [заблокирован]

Откуда:
Сообщений: 285
На MS SQL я генерировал тестовые данные примерно 20 000 строк в секунду,
в строке примерно 20 полей numeric(28,10). Примерно потому, что хочу показать просто порядок значений. Причем это на тестовом стэнде с одним GREEN винтом 5400rpm.
Минимальное протоколирование, т.е. с монопольной блокировкой таблицы, write flush-диска отключен. Средня скорость диска по перфмону была около 8МБ/сек.
Важнее как поведёт себя система при параллельных транзакциях. Учитывая что рандомное чтение с дисков примерно 4МБ/cек(/2), плюс запись в лог транзакций (/2), то будет около 5 000 строк в секунду.
При секционировании скорость увеличивалась пропорционально количеству дисков при соответствии каждому отдельного ядра CPU.
Тут важнее не СУБД, а дисковая система.
1 янв 11, 18:28    [10028251]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3796
exploys
Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL.

Интересуют следующее:
0. наличие блокировочного/версионного механизма транзакций
1. линкованые сервера (гетерогенные запросы)
2. партиционирование
3. индексированные (материализованные) представления

Задача: поток данных на запись в БД около 100-1000 записей в секунду. Необходимо хранить данные и выполнять аналитические запросы.

Бесплатная редакция любого тяжелого сервера будет имхо лучше!! 1000 записей потянутся запросто, а со всем остальным там на порядок лучше
3 янв 11, 11:28    [10030777]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
raidan2
Member [заблокирован]

Откуда:
Сообщений: 1896
Ivan Durak
Бесплатная редакция любого тяжелого сервера будет имхо лучше!! 1000 записей потянутся запросто, а со всем остальным там на порядок лучше

Oracle XE, что-ли?
Да, он прекрасен. Пока объем ваших данных не превысит 4 гигабайта. И пока для buffer cache-а будет хватить ~700 метров (а ещё 300 на всё остальное).
3 янв 11, 11:33    [10030791]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3796
raidan2,

автор
Пока объем ваших данных не превысит 4 гигабайта

Или 10 гиг для MSSQL Expressa. Ну пусть автор сам решает сколько у него будет лежать там, а по заявленным пунктам таки лучше.
3 янв 11, 12:29    [10030880]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54850

И в этих бесплатных редакциях есть партиционирование? В Oracle XE его точно нет.

Posted via ActualForum NNTP Server 1.4

3 янв 11, 12:42    [10030905]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
raidan2
Member [заблокирован]

Откуда:
Сообщений: 1896
Dimitry Sibiryakov
И в этих бесплатных редакциях есть партиционирование? В Oracle XE его точно нет.

Фантазия автора по поводу заливки 1000 записей в секунду остается лишь фантазиями.
Когда что-то растет по скоростью 86,5 миллиона записей в сутки -- никакое партиционирование ни в каком MySQL не поможет. Задача решается другими средствами.

Так что мы берем другие аспекты.
3 янв 11, 12:44    [10030908]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
exploys
Member [заблокирован]

Откуда:
Сообщений: 285
raidan2
Dimitry Sibiryakov
И в этих бесплатных редакциях есть партиционирование? В Oracle XE его точно нет.

Фантазия автора по поводу заливки 1000 записей в секунду остается лишь фантазиями.
Когда что-то растет по скоростью 86,5 миллиона записей в сутки -- никакое партиционирование ни в каком MySQL не поможет. Задача решается другими средствами.

Так что мы берем другие аспекты.

Интересно. Не спасёт от чего?
И какие вы применяете средства?

Бесплатные редакции платных СУБД не подойдут по причинам:
- ограничение БД 4-10 ГБ
- отсутствие секционирования
- отсутствие мат.представлений
- ограничение на использование CPU и RAM

Все эти ограничения снимаются только в редакции EE. Платные СУБД на то и платные, чтобы их использовать за деньги.
3 янв 11, 13:02    [10030930]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
raidan2
Member [заблокирован]

Откуда:
Сообщений: 1896
exploys
Интересно. Не спасёт от чего?
И какие вы применяете средства?

Строго говоря, я не должен быть столь категоричен, т.к. нет расшифровки, что подразумевается под аналитическими запросами, как часто они будут выполняться и какого вида данные будут вливаться.

Просто видал я героев, заливающих сырой netflow в БД.

У вас DWH?

exploys
Бесплатные редакции платных СУБД не подойдут по причинам:
- ограничение БД 4-10 ГБ
- отсутствие секционирования
- отсутствие мат.представлений
- ограничение на использование CPU и RAM

Все эти ограничения снимаются только в редакции EE. Платные СУБД на то и платные, чтобы их использовать за деньги.

Мат. представления в XE есть.
К слову, использование "платных редакций" Oracle в ряде случаев полностью бесплатно.
3 янв 11, 13:33    [10030952]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
Yo.!
Guest
exploys
Бесплатные редакции платных СУБД не подойдут по причинам:
- ограничение БД 4-10 ГБ
- отсутствие секционирования
- отсутствие мат.представлений
- ограничение на использование CPU и RAM

Все эти ограничения снимаются только в редакции EE. Платные СУБД на то и платные, чтобы их использовать за деньги.

несете чепуху.
- 99% partitioning view есть и в oracle XE, как оно работает в SE я показывал пару недель назад
- матвью есть в любой редакции оракла (в ЕЕ оптимизатор умеет переписывать запросы если данные можно взять из матвью)
3 янв 11, 13:48    [10030972]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
goldenfoods
Member

Откуда: Киев
Сообщений: 288
Ivan Durak
raidan2,

автор
Пока объем ваших данных не превысит 4 гигабайта

Или 10 гиг для MSSQL Expressa. Ну пусть автор сам решает сколько у него будет лежать там, а по заявленным пунктам таки лучше.

А с какой версии стало 10 гб?
и это на весь инстанс или только на одну схему?
3 янв 11, 16:02    [10031154]     Ответить | Цитировать Сообщить модератору
 Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
servit
Member

Откуда: г. Кишинёв, Республика Молдова
Сообщений: 3148
Блог
  • Oracle Database 11g: Product Editions & Features. То же, но подробнее
  • SQL Server 2008 R2: Compare Editions
  • 3 янв 11, 16:11    [10031168]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    Ivan Durak
    Member

    Откуда: Minsk!!!
    Сообщений: 3796
    goldenfoods
    Ivan Durak
    raidan2,

    пропущено...

    Или 10 гиг для MSSQL Expressa. Ну пусть автор сам решает сколько у него будет лежать там, а по заявленным пунктам таки лучше.

    А с какой версии стало 10 гб?
    и это на весь инстанс или только на одну схему?

    хз с какой конкретно, но 2008 Р2 может 10гиг - тынц
    http://msdn.microsoft.com/en-us/library/cc645993.aspx

    не знаю что значит "на одну схему", это на одну базу. Баз на инстансе может быть много.
    3 янв 11, 16:11    [10031170]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    pkarklin
    Member

    Откуда: Москва (Муром)
    Сообщений: 74930
    Ivan Durak
    Баз на инстансе может быть много.


    32 767
    3 янв 11, 16:31    [10031190]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    leonbn
    Member

    Откуда: СПб
    Сообщений: 522
    exploys
    Бесплатные редакции платных СУБД не подойдут по причинам:
    - ограничение БД 4-10 ГБ
    - отсутствие секционирования
    - отсутствие мат.представлений
    - ограничение на использование CPU и RAM

    Посмотри db2 express-C и удивись :D Особенно версии 9.1.х, которая до сих пор пользуется популярностью по причине 4-х ядер, 4 Гб памяти и анлим размер базы :D
    3 янв 11, 17:05    [10031243]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    exploys
    Member [заблокирован]

    Откуда:
    Сообщений: 285
    raidan2
    exploys
    Интересно. Не спасёт от чего?
    И какие вы применяете средства?

    Строго говоря, я не должен быть столь категоричен, т.к. нет расшифровки, что подразумевается под аналитическими запросами, как часто они будут выполняться и какого вида данные будут вливаться.

    Просто видал я героев, заливающих сырой netflow в БД.

    У вас DWH?


    Да. Общий размер 1-10Тб. Запросы к примеру: средние, максимальные, минимальные значения в разбивке по месяцам, дням, годам.

    raidan2

    exploys
    Бесплатные редакции платных СУБД не подойдут по причинам:
    - ограничение БД 4-10 ГБ
    - отсутствие секционирования
    - отсутствие мат.представлений
    - ограничение на использование CPU и RAM

    Все эти ограничения снимаются только в редакции EE. Платные СУБД на то и платные, чтобы их использовать за деньги.

    Мат. представления в XE есть.
    К слову, использование "платных редакций" Oracle в ряде случаев полностью бесплатно.

    Это в каких случаях?
    9 янв 11, 17:14    [10045552]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    exploys
    Member [заблокирован]

    Откуда:
    Сообщений: 285
    Бесплатные СУБД.

    PostgreSQL:
    автор
    - есть и блокировочный и версионный(MVCC) механизм транзакций
    - есть распределенные запросы и распределенные транзакции (есть двуфазный комит)
    - есть секционирование (таблиц и индексов), реализуется через наследование таблиц и трегеы
    - есть мат.представления, но оптимизатор НЕ умеет переписывать запросы если данные можно взять из матвью
    - есть встроенные механизмы репликаций


    В Firebird
    автор
    - есть версионный(MVCC) механизм транзакций
    - есть распределенные запросы и НЕТ распределенных транзакций (НЕТ двуфазного комита)
    - НЕТ секционирование (таблиц и индексов)
    - НЕТ мат.представления
    - НЕТ встроенные механизмы репликаций (но есть внешнее ПО)


    В MySQL
    автор
    - есть и блокировочный MyISAM и версионный(MVCC)InnoDB механизм транзакций (на разных движках)
    - есть распределенных запросы и НЕТ распределенных транзакций (НЕТ двуфазного комита)
    - есть секционирование (таблиц и индексов)
    - НЕТ мат.представления
    - НЕТ встроенные механизмы репликаций (но есть внешнее ПО)



    Платные СУБД в бесплатных редакциях.

    MS SQL 2008R2 Express (Ограничение БД 10ГБ, CPU 1шт, ОЗУ 1ГБ)
    автор
    - есть и блокировочный и версионный(MVCC) механизм транзакций
    - есть распределенные запросы и НЕТ распределенных транзакций (НЕТ двуфазного комита) (возможность создания федеративных серсверов начинается с Enterprise)
    - НЕТ секционирование (таблиц и индексов)
    - НЕТ мат.представления
    - есть встроенные механизмы репликаций (Только подписчик)


    ORACLE 11g Express (Ограничение БД 4ГБ, CPU 1шт, ОЗУ 1ГБ)
    автор
    - есть и блокировочный и версионный(MVCC) механизм транзакций
    - есть распределенные запросы и есть распределенные транзакции (есть двуфазный комит)
    - НЕТ секционирование (таблиц и индексов)
    - есть мат.представления (но оптимизатор НЕ умеет переписывать запросы если данные можно взять из матвью)
    - есть встроенные механизмы репликаций (Только подписчик)


    Поправьте, что где напутал.
    9 янв 11, 17:52    [10045779]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    hvlad
    Member

    Откуда:
    Сообщений: 11578
    exploys
    В Firebird
    автор
    - есть распределенные запросы и НЕТ распределенных транзакций (НЕТ двуфазного комита)
    Поддержка 2PC в IB появился чуть ли не раньше, чем где бы то ни было.
    Гетерогенных запросов в FB нет, но в 2.5 появилась возможность делать запросы к другим БД IB\FB.
    9 янв 11, 18:21    [10045901]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    Dimitry Sibiryakov
    Member

    Откуда:
    Сообщений: 54850

    exploys
    Поправьте, что где напутал.

    Да почти везде.
    В PG нет встроенной репликации (slony и иже с ним - таки внешние приблуды), а в MySQL она
    есть. В Firebird нет распределённых запросов, но есть распределённые транзакции и
    двухфазный коммит. В Оракуле нет блокировочного механизма, версионность не отключить.

    Posted via ActualForum NNTP Server 1.4

    9 янв 11, 18:25    [10045915]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    SERG1257
    Member

    Откуда:
    Сообщений: 2934
    У меня возникает когнитивный диссонанс глядя на эти требования.
    С одной стороны декларируется серьезная OLTP нагрузка, плюс OLAP нагрузка, плюс взаимодействие с другими системами - короче значительная нагрузка, приличное железо, просчитанный риск и ответственность, достойная оплата исполнителям.
    С другой стороны вопрос про бесплатные субд, ни одной из которых топикстартер не знает, на форуме то есть принимая на себя все риски. (если ТС знает хоть одну приличную СУБД, то ответ однозначен - бери ее независимо от стоимости лицензий, все равно обойдется дешевле, либо найми специалиста)
    Мне в голову приходит только одно объяснение - топикстартер разрабатывает коробочную систему типа АСКУЭ, то есть некие датчики льющие инфу в базу, плюс некая обработка этой инфы. Тогда бесплатность имеет свое объяснение и требования сразу упрощаются.
    9 янв 11, 19:52    [10046214]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    SERG1257
    Member

    Откуда:
    Сообщений: 2934
    Далее по требованиям
    exploys
    0. наличие блокировочного/версионного механизма транзакций
    Это не требование к системе, это требование к реализации. Огласите задачу.
    exploys
    1. линкованые сервера (гетерогенные запросы)
    С этим справится сервер приложений или клиент.
    exploys
    2. партиционирование
    Примитивные range партиции с локальными индексами, partition pruning и одной rw секцией реализуется вручную на базе вьюх и триггеров. Приложение должно быть в курсе.
    exploys
    3. индексированные (материализованные) представления
    Аналогично вручную - производная таблица, триггеры, регулярные проверки. Никаких приятных прозрачных query_rewrite, приложение опять же должно быть в курсе.

    Если вы хотите указанный функционал, то или платите и покупайте поддержку, чтобы пользоваться протоптанной дорожкой, либо ставьте бесплатную СУБД, платите спецу и тестируйте тестируйте тестируйте, либо реализуйте все вручную - велосипед может быть плохоньким да вашим. Мой пойнт в том, что платить все равно придется.
    http://en.wikipedia.org/wiki/There_ain%27t_no_such_thing_as_a_free_lunch
    9 янв 11, 20:46    [10046427]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    pkarklin
    Member

    Откуда: Москва (Муром)
    Сообщений: 74930
    exploys
    Поправьте, что где напутал.
    MS SQL 2008R2 Express...


    автор
    - есть распределенные запросы и НЕТ распределенных транзакций (НЕТ двуфазного комита) (возможность создания федеративных серсверов начинается с Enterprise)


    Вы путаете теплое с мягким - распределенные транзакции (с использованием DTC), которые поддерживаются в любой редакции MS SQL и distributed partitioned views.

    автор
    НЕТ мат.представления


    Есть, только оптимизатор без хинта будет их "раскрывать" до базовых таблиц:

    BOL->Indexed views can be created in any edition of SQL Server. In SQL Server Enterprise Edition, the query optimizer automatically considers the indexed view. To use an indexed view in all other editions, the NOEXPAND table hint must be used.

    автор
    есть встроенные механизмы репликаций (Только подписчик)


    Не только. Express редакция может участвовать в Merge репликации, если в топологии используется не только Express редакция.
    9 янв 11, 22:40    [10046761]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    Konstantin~
    Member

    Откуда:
    Сообщений: 93
    Dimitry Sibiryakov
    exploys
    Поправьте, что где напутал.

    Да почти везде.
    В PG нет встроенной репликации (slony и иже с ним - таки внешние приблуды), ...


    В PG есть встроенная репликация, появилась в 9 версии, см. Chapter 25. High Availability, Load Balancing, and Replication секцию "Hot Standby"
    10 янв 11, 00:37    [10047107]     Ответить | Цитировать Сообщить модератору
     Re: Выбор из бесплатных СУБД: Firebird, MySQL, PostgreSQL  [new]
    tanglir
    Member

    Откуда:
    Сообщений: 28966
    exploys
    PostgreSQL:
    автор
    - есть мат.представления, но оптимизатор НЕ умеет переписывать запросы если данные можно взять из матвью
    Потому что это не "нативные" матвью, а ручные надстройки.
    10 янв 11, 08:17    [10047419]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
    Все форумы / Сравнение СУБД Ответить