Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4 5   вперед  Ctrl      все
 MySql vs Postgre vs ?  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3430
Собственно вопрос в сабже.

На сегодня активно работаем с MySql 5.1.48(кажись), в основном движок InnoDb. Пока справляется достаточно хорошо.
Сервер: 2 проца по 2 ядра (AMD64) 3.5Ггц, память что-то около 8Гб (4дырки по 2), диск raid1 "proffesional :)" 120..200 Мб/сек. Тянет на себе ПХП-сайт и все БД.

Сайт: Nginx + Appache(PHP+Zend) + memcache. Общая отдача (с ботами) около 100к в сутки. Пиково справляется до 170 одновременных обращений в секунду. На запрос к сайту, в среднем делается 3-5 обращений к БД со средним джойном в 5-15 таблиц из нескольких БД (3-5НФ). Некешированная выборка - от 0.1 до 3сек...

Базы на сегодня:
1. Основной справочник (фирмы, адреса, телефоны, люди и т.д.) - около 70_000 фирм, достаточно подробно.
2. Товарная база - около 400 000 товаров.
3. Статистика сервера - около 15млн записей, ежедневный прирост 150к шт.
4. Почтовый автомат (переписка посетителей + рассылки). Работает в виде ПХП демона там же - около 1.5млн писем, ежедневный прирост около 1тыс. шт.
Суммарно что-то около 60 гектар, может уже больше.

В связи с тем, что планируется строить большую экспертную систему на основе товарной базы и ожидается существенный прирост объемов товарной базы (в 10-100 раз), возник вопрос "а потянет ли этот чудо дальше?"

Ну и, как обычно, возникла мысля, а может экспертную систему (ЭС) лепить не на Мускуле?
В основе ЭС будет лежать большой сложно связанный граф. Ожидается средняя глубина в 10 вершин со средней ветвистотью около 25 ребер на узел, на товарную позицию (к счастью, не каждую).

А поскольку акромя Мускуля и когда-то давно MS ACCESS 97, и ещё давнее Borland Paradox 4.1 - ничего не едал... прошу помощи у сообщества...
25 июл 12, 17:03    [12915223]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709

On 07/25/2012 06:03 PM, Arhat109 wrote:

> В связи с тем, что планируется строить большую экспертную систему на основе
> товарной базы и ожидается существенный прирост объемов товарной базы (в 10-100
> раз), возник вопрос "а потянет ли этот чудо дальше?"

400000 товаров * (10/100) = 40,000,000

Ну, не могу сказать, что это уже маленькая БД. по идее Inno должен справляться,

> Ну и, как обычно, возникла мысля, а может экспертную систему (ЭС) лепить не на
> Мускуле?
> В основе ЭС будет лежать большой сложно связанный граф. Ожидается средняя
> глубина в 10 вершин со средней ветвистотью около 25 ребер на узел, на товарную
> позицию (к счастью, не каждую).

Какие операции с графами предполагаются ?

Posted via ActualForum NNTP Server 1.5

25 июл 12, 17:53    [12915603]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
miksoft
Member

Откуда:
Сообщений: 38920
Arhat109,

А вы изучали, каковы сейчас узкие места в системе? Какую нагрузку создают разные компоненты системы? Пробовали собрать и погонять макет будущей системы в сторонке?

Несмотря на приведенные цифры, ответы могут быть самым разным - от "и так сойдет" до "ставить 10 серверов, каждый из которых вчетверо мощнее текущего".
25 июл 12, 18:28    [12915849]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Yo.!
Guest
вам понадобиться субд с хорошим оптимизатором. mysql славиться слабым оптимизатором, постгрес чуть получше, не столь уж принципиально. дальше идут взрослые субд, точнее их кастрированные версии XE: oracle xe, mssql express, db2 express-c. вряд ли они вам подойдут, у оракла и мсскл ограничение 11гб на базу, у дб2 база не ограничена но 1гб RAM и всего одно процессорное ядро.
в общем реально выбор или постгрес, который не факт, что потянет тяжелый sql или платить за взрослую субд. я так понимаю экспертная система может быть отдельной от вашего mysql и доступной только сотрудникам компании. в этом случае лицензирование взрослой субд по юзерам не так уж дорого обойдется и сэкономит многие часы разработки за счет взрослых фич в субд.
25 июл 12, 19:09    [12916106]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Victor Metelitsa
Member

Откуда: Тюмень
Сообщений: 2559
Yo.!
у дб2 база не ограничена но 1гб RAM и всего одно процессорное ядро.

4 гб, 2 ядра.
25 июл 12, 22:31    [12916820]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
SERG1257
Member

Откуда:
Сообщений: 2933
Arhat109
В связи с тем, что планируется строить большую экспертную систему на основе товарной базы и ожидается существенный прирост объемов товарной базы (в 10-100 раз), возник вопрос "а потянет ли этот чудо дальше?"
Я не работал ни с той ни с другой базой однако выскажусь.
1 Какая необходимость держать вашу экспертную систему на том же сервере.
2 Присоединюсь к вопросу miksoft об узких местах и создания макета
Arhat109
Ну и, как обычно, возникла мысля, а может экспертную систему (ЭС) лепить не на Мускуле?
А есть ли у вас спец по Постгрессу? Кадры решают все.
Arhat109
В основе ЭС будет лежать большой сложно связанный граф. Ожидается средняя глубина в 10 вершин со средней ветвистотью около 25 ребер на узел, на товарную позицию (к счастью, не каждую).
Графы это у вас. У СУБД это таблицы и запросы.
Под словом экспертная система, я представляю систему с редкой, упорядоченной записью, и большим количеством чтений. Такая система должна хорошо параллелиться и хорошо отзыватся на вложения в железо (в отличие от замены СУБД, где положительный результат никак не гарантирован, буде это самая распрекрасная СУБД)
26 июл 12, 05:01    [12917327]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3430
miksoft,

1. Гоняем постоянно. Собственно система в активном развитии с 2008года. Как такового "production" - нет. То, что работает "для всех" - одна из реинкарнаций из общего репозитория разработчиков. Практически ежедневно делается очередной "svn up". :)
Есть большая внутренняя часть - СРМ система "для своих" (в т.ч. удаленно).

2. По узким местам: от сегодняшней нагрузки (это товарно-ценовой портал mediam.ru - около 20_000 полезных визитов в сутки) есть запас около 10 раз по работе серверной части, около 15 раз по вычислительной мощности (средняя нагрузка по htop 30-50% на одно ядро, остальные - 5-10%). Думаю это связано с крайне шустрой дисковой работой (последовательное чтение до 200мб/сек, время простоя на дисках innoDb по статусу не более 15%)... и innoDb уже матерится на недостаток памяти для мускуля, уже сейчас (конкретно недостаток индексного кеша или как он там называется).
... но там есть только 2 дырки, в которых стоит по 4 гектара (в первом посту ошибся)... так что можно ли нарастить - не знаю. В продаже больше 4Гб с ЕСС не видел (у нас).

3. По операциям с графом. Ожидается примерно следующий набор работ (отдельный демон и СУБД):

а) операции выборки всех подузлов, начиная с заданного (необязательно корневого). Типа "много и часто" - поиск, подготовка данных для ПО сайта и т.п. Большей частью можно по крону. В основном, результат выборки будет основой для выуживания данных из остальных БД...

б) операции вставки отдельных узлов (поштучно) в заданную вершину. Ожидается "пачками" (в смысле в много разных мест, но в каждое по одному и поштучно)... не так часто, но по многу и сразу (добавление знаний в экспертную систему). В основном режим "онлайн" - или "как посетителю вздумается". Пример: добавление нового прайс-листа (10-12500 позиций за раз, ограничено сверху нами).

в) перестройка графа (канонизация - перенос поддеревьев, удаление/вставка вершин, ребер). Отдельный фоновый процесс, в основном при снижении нагрузки на БД графа по чтению (например по крону).

Я догадываюсь, что возможно какой-нибудь mumps для ЭС подошел бы лучше (очень слегка ставил и знакомился)... но, недавно нашел плагин к Мускулю, который позволяет лазить из ПО непосредственно к индексам и прочим потрохам, обеспечивая скорости близкие к memcache (тест приводился для 8 ядер 3.5Ггц Intel и 32гектаров RAM)... вот и задумался стоит ли менять "шило на мыло"?.

Надеюсь, это поможет для ответа на вопрос "Стоит ли для реализации ЭС брать другую БД?" Сервер - один, и другой в ближайшее время не предвидится...
26 июл 12, 06:48    [12917377]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3430
Arhat109, "друг, подай закурить! ... а в ответ - тишина, он вчера не вернулся из боя."

так никто и не выскажется?
27 июл 12, 06:31    [12922838]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
ScareCrow
Member

Откуда: Белый город
Сообщений: 17472
вынести на отдельный сервак и не парится еще 5 лет
27 июл 12, 12:56    [12924851]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
ScareCrow
Member

Откуда: Белый город
Сообщений: 17472
ну или купить наконец нормальный сервер, а не этот. у меня примерно такое же стоит дома на поиграться.
27 июл 12, 12:57    [12924858]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
ScareCrow
Member

Откуда: Белый город
Сообщений: 17472
автор
. но, недавно нашел плагин к Мускулю, который позволяет лазить из ПО непосредственно к индексам и прочим потрохам, обеспечивая скорости близкие к memcache

это из другой оперы. сортировку он делать уже не умеет.
27 июл 12, 13:08    [12924942]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3430
ScareCrow,

Пасибки за целых 3 поста, жаль что все "ни о чем"... Мне показалось, что достаточно внятно написал "есть такой и другого НЕ предвидится", разве что - подарите, не? Тогда не надо давать советы, которыми нельзя воспользоваться.

По теме, что-то сказать - можете?

Повторю ещё раз вопрос: в связи с недостатком времени, изучать подробно "прочие" СУБД - у меня возможности нет.

Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД (кроме PostGreSQL альтернативы не вижу) или имеющийся MySQL наши задачи потянет "не хуже"?

Ну или чем одно лучше другого на таком железе и для такой задачи?
27 июл 12, 19:59    [12927567]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54809

Arhat109
Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД

Говорю ВНЯТНО: нет, не стоит. Точка.

Posted via ActualForum NNTP Server 1.5

27 июл 12, 20:15    [12927589]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Arhat109,

И времени у Вас нет, и денег... Пичалька, однако. М.б. и тон своих постов стОит убавить, в соответствии с наличием времени и денег?!
27 июл 12, 22:36    [12928030]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
РыбАлов В
Guest
Arhat109
ScareCrow,

Пасибки за целых 3 поста, жаль что все "ни о чем"... Мне показалось, что достаточно внятно написал "есть такой и другого НЕ предвидится", разве что - подарите, не? Тогда не надо давать советы, которыми нельзя воспользоваться.

По теме, что-то сказать - можете?

Повторю ещё раз вопрос: в связи с недостатком времени, изучать подробно "прочие" СУБД - у меня возможности нет.

Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД (кроме PostGreSQL альтернативы не вижу) или имеющийся MySQL наши задачи потянет "не хуже"?

Ну или чем одно лучше другого на таком железе и для такой задачи?

Внятно и громко говорю вам НЕТ!
Не переходите на PostgreSQL или Firebird - переходите на SQL server.
Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени рекомендую все вопросы связанные с изучением этой чудесной СУБД задать на форуме.
Все будут просто счастливы ответить вам.
28 июл 12, 19:55    [12929835]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
РыбАлов В
Arhat109
ScareCrow,

Пасибки за целых 3 поста, жаль что все "ни о чем"... Мне показалось, что достаточно внятно написал "есть такой и другого НЕ предвидится", разве что - подарите, не? Тогда не надо давать советы, которыми нельзя воспользоваться.

По теме, что-то сказать - можете?

Повторю ещё раз вопрос: в связи с недостатком времени, изучать подробно "прочие" СУБД - у меня возможности нет.

Если можете ВНЯТНО сказать стоит ли переходить на другую бесплатную СУБД (кроме PostGreSQL альтернативы не вижу) или имеющийся MySQL наши задачи потянет "не хуже"?

Ну или чем одно лучше другого на таком железе и для такой задачи?

Внятно и громко говорю вам НЕТ!
Не переходите на PostgreSQL или Firebird - переходите на SQL server.
Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени рекомендую все вопросы связанные с изучением этой чудесной СУБД задать на форуме.
Все будут просто счастливы ответить вам.
ну что ж - очень аргументированный ответ
случайно раньше не в церкви работали?
28 июл 12, 20:13    [12929884]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709


> Не переходите на PostgreSQL или Firebird - переходите на SQL server.
> Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени

Ага. уже. Расскажи, что такое есть в MSSQL чего нет в том же Postgres?
Те же индексы, те же таблицы.

Posted via ActualForum NNTP Server 1.5

28 июл 12, 23:13    [12930245]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Сходу
Guest
MasterZiv

> Не переходите на PostgreSQL или Firebird - переходите на SQL server.
> Только SQL Server принесёт вам успех и счастье! Так как у Вас очень мало времени

Ага. уже. Расскажи, что такое есть в MSSQL чего нет в том же Postgres?
Те же индексы, те же таблицы.

Сходу: MatView, MatView-QueryRewrite, Intra-Query Parallelism, Compression, LogShipping, Transaction Replication, PWD... etc
Можно ещё долго перечислять.
28 июл 12, 23:20    [12930255]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Ёш
Member

Откуда:
Сообщений: 2892
Сходу
MatView, MatView-QueryRewrite, Intra-Query Parallelism, Compression, LogShipping, Transaction Replication, PWD... etc
MatView — есть, MatView-QueryRewrite — есть, Intra-Query Parallelism — можно сделать, Compression — есть, LogShipping — есть, Transaction Replication — не знаю что это, репликация есть, PWD — непонятное слово :)
29 июл 12, 03:03    [12930586]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Compression
Guest
Ёш
Сходу
MatView, MatView-QueryRewrite, Intra-Query Parallelism, Compression, LogShipping, Transaction Replication, PWD... etc
MatView — есть, MatView-QueryRewrite — есть, Intra-Query Parallelism — можно сделать, Compression — есть, LogShipping — есть, Transaction Replication — не знаю что это, репликация есть, PWD — непонятное слово :)

А можно ссылки на доку по MatView-QueryRewrite и Compression?
29 июл 12, 15:21    [12931325]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Ёш
Member

Откуда:
Сообщений: 2892
Compression
Ёш
пропущено...
MatView — есть, MatView-QueryRewrite — есть, Intra-Query Parallelism — можно сделать, Compression — есть, LogShipping — есть, Transaction Replication — не знаю что это, репликация есть, PWD — непонятное слово :)

А можно ссылки на доку по MatView-QueryRewrite и Compression?

http://www.postgresql.org/docs/current/static/rules.html
http://www.postgresql.org/docs/current/static/storage-toast.html
29 июл 12, 20:26    [12931849]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Alexander Ryndin
Member

Откуда:
Сообщений: 4919
Блог
Ёш
Compression
пропущено...

А можно ссылки на доку по MatView-QueryRewrite и Compression?

http://www.postgresql.org/docs/current/static/rules.html
http://www.postgresql.org/docs/current/static/storage-toast.html
Что-то я почитал про Rules - хрень какая-то, а не Matview-QueryRewrite. Это как самолет и самолетик. Вроде оба летают, у обоих крылья есть, но в остальном все разное.

Про toast прочитал вот эту фразу и сижу офигеваю
автор
PostgreSQL uses a fixed page size (commonly 8 kB), and does not allow tuples to span multiple pages. Therefore, it is not possible to store very large field values directly. To overcome this limitation, large field values are compressed and/or broken up into multiple physical rows
Выглядит как какая-то непонятная приблуда, придуманная, чтобы PGSQL мог храниться данные больше 8кб, но приспособленная еще для чего-то
29 июл 12, 21:34    [12931962]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Compression
Guest
Alexander Ryndin
Ёш
пропущено...

http://www.postgresql.org/docs/current/static/rules.html
http://www.postgresql.org/docs/current/static/storage-toast.html
Что-то я почитал про Rules - хрень какая-то, а не Matview-QueryRewrite. Это как самолет и самолетик. Вроде оба летают, у обоих крылья есть, но в остальном все разное.

Про toast прочитал вот эту фразу и сижу офигеваю
автор
PostgreSQL uses a fixed page size (commonly 8 kB), and does not allow tuples to span multiple pages. Therefore, it is not possible to store very large field values directly. To overcome this limitation, large field values are compressed and/or broken up into multiple physical rows
Выглядит как какая-то непонятная приблуда, придуманная, чтобы PGSQL мог храниться данные больше 8кб, но приспособленная еще для чего-то

Так я не понял, там это материализованное представление и вообще как эти rules работают в двух словах?
И сжатие это бинарные столбцы TOAST (типа BLOB) просто перед сохранением жмутся и сохраняются по множеству строк?
29 июл 12, 23:40    [12932263]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3430
pkarklin, что конкретно Вам не понравилось в моих постах? Я задался вполне нормальным вопросом проектировщика, при начале нового проекта. Нет времени и денег - нормальное состояние. У Вас есть и то и другое? Значит Вы - безработный меценат, живущий на рентный доход. ;)

То что не хочу, чтобы тему превратили во флуд "чья пиписька тольщее"? Всё равно - УЖЕ превратили.

Меня интересовал конкретный ответ на конкретный вопрос. Мне его дали - "не стоит". За что пасибки автору. Чётко и понятно.
Времени разбираться ПОЧЕМУ - у меня нет.

Так что спасибо за участие, тему можно закрывать - мерялки проприетарных рекламистов меня ваще не интересуют.
30 июл 12, 06:20    [12932592]     Ответить | Цитировать Сообщить модератору
 Re: MySql vs Postgre vs ?  [new]
Arhat109
Member

Откуда: из СССР
Сообщений: 3430
Arhat109, жаль нельзя исправить... дополню:

Вот ответ "надо переходить на..." - обязан сопровождаться объяснением ПОЧЕМУ эти задачи в этих условиях полезно решать другими средствами.
30 июл 12, 06:22    [12932595]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4 5   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить