Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Помогите выбрать СУБД  [new]
e60
Member

Откуда:
Сообщений: 89
Итак задача:
Есть БД. Пока она совсем никакая 5-6 тысяч записей в рабочей таблице. но в ближайший год-два там будет порядка 20 миллионов, плюс таблица с историей в которой будет порядка 40 миллионов записей.
Запросы будут в основном по пересечению 5- 6 таблиц () и возвращать будут 2000-4000 записей.
В главной таблице порядка 35 колонок (идентификаторы и datetime поля). Во вспомгательных таблицах будет порядка 30-50 тысяч записей.
Пользователей будет порядка 1000 (одновременных подключений около 100),
изменения юудут вносится каждый день и их будет порядка 100 тысяч.
База ест-но будет стоять на Unix. Есть выбор SyBAse, Oracle, Postgres.
Что посоветуете?
4 ноя 04, 12:50    [1083317]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Yo!
Guest
если это смешаная система т.е. OLPT и длинные запросы на одном сервере то лучше брать версионик, т.е. posgre или oracle. понятно что оракл гораздо навороченей т.е. если есть $5K на oracle standart one то это лучший выриант с запасом на 2 проца.
4 ноя 04, 13:11    [1083422]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
e60
Member

Откуда:
Сообщений: 89
Yo!
если это смешаная система т.е. OLPT и длинные запросы на одном сервере то лучше брать версионик, т.е. posgre или oracle. понятно что оракл гораздо навороченей т.е. если есть $5K на oracle standart one то это лучший выриант с запасом на 2 проца.

А что PostgreSQL потянет нормально такой объем? Мне еще говорили, что Sybase неплохо справляется с большими объемами данных.
4 ноя 04, 13:16    [1083456]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Yo!
Guest
100 юзеров посгрес говорят вытянет, я видел сайты с хорошей нагрузкой вроде тянет. но там нет партионинга, материализед вью и т.п. что наверника пригодится на 20 милионах и тяжелых запросах.

ASE настолько не популярен на наших просторах, что о нем никто не может ничего путного рассказать. имхо замучаешся искать спецов + как-то они странно - куча рекламы и ни одного серьозного теста ... все на словах.
4 ноя 04, 13:28    [1083512]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
e60
Member

Откуда:
Сообщений: 89
Yo!
100 юзеров посгрес говорят вытянет, я видел сайты с хорошей нагрузкой вроде тянет. но там нет партионинга, материализед вью и т.п. что наверника пригодится на 20 милионах и тяжелых запросах.

ASE настолько не популярен на наших просторах, что о нем никто не может ничего путного рассказать. имхо замучаешся искать спецов + как-то они странно - куча рекламы и ни одного серьозного теста ... все на словах.

Об ASE речь не идет. Речь идет о Sybase ASA. Просто в этой ветке есть Developer Edition и можно нормально протестировать все.
Я уже гонял MYSQL на 23.5 миллионах. Запросы по 3 минуты длятся. Хотя конечно железо пока не акти P4 3ГГц 1Gb на 2x*80Gb на SATA в зеркале.
Если Postgres дает такую же производительность, то не стоит его пробовать
4 ноя 04, 13:41    [1083581]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 67525
Блог
e60
Мне еще говорили, что Sybase неплохо справляется с большими объемами данных.

Что касается Sybase - в том числе и в этом форуме некто ASCRUS говорит про него много хорошего и интересного. Но все же у него шла мысль, что ниша Sybase - не очень большие базы.

Есть еще один момент. Сто тысяч изменений в день - это довольно много, и с версионником в этом случае скорее всего будет полегче.

У Оракла в этом случае потребуется тщательно настраивать rollback segment-ы.

Насчет Postgres - здесь мелькало, что у него есть недостатки в сборке мусора. То есть версионность там реализована за счет вставки новой версии записи при update; и при таких объемах изменений недостатки в сборке мусора - подчистке старых версий - будут весьма неприятны с точки зрения администрирования.
4 ноя 04, 13:49    [1083616]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Yo!
Guest
ну это лучше у ASCRUS спрашивать, но производитель ASA не позиционирует для милионых баз и сотен конкурентных юзеров. для таких задач у них ASE позиционируется. и опять же это блокировочник, т.е. они даже не пытаются долгоиграющие запросы пускать на OLPT базу, для этого они сделали отдельный сервер для отчетов sybaseIQ.

милионы записей это не ниша mysql посгре должен быть гораздо лучше ... + ты не тетировал на 100 конкурентных юзерах.
4 ноя 04, 13:56    [1083652]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
По вопросам производительности, кол-ва пользователей и размера данных думаю вполне возможно, что такую задачу ASA нормально выдержит, на форуме команды ASA они по таким вопросам ссылаются на эти результаты тестов. Однако я думаю слишком мало информации по требованиям, чтобы можно было гарантировать эффективную работу ASA. Мне лично на текущий момент известна успешная работа ASA 9 с 40 гб БД и парой сотней активных подключений.

автор
ну это лучше у ASCRUS спрашивать, но производитель ASA не позиционирует для милионых баз и сотен конкурентных юзеров. для таких задач у них ASE позиционируется. и опять же это блокировочник,

У нас вот на носу смена версии с 9.01 на 9.02, вот вот выложат для скачивания. Известно, что теперь ASA поддерживает программное управление квотированием ресурсов для сессий (режим приоритетности выполнения запросов для сессий был введен уже в 9.01). Думаю это говорит о том, что все таки ASA сейчас смещается в сторону поддержки БД больших размеров, даже знаю, откуда ноги растут - с рынка мобильных устройств. Так как в данном случае ASA выступает СУБД для организации консолидированной БД для ASA UltraLite (КПК) и ASA на удаленных офисах, то естественно они просто вынуждены расширяться в сторону поддержки и обработки более больших обьемов информации.
4 ноя 04, 14:35    [1083831]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
protector
Member

Откуда: Иваново, Россия
Сообщений: 600

ASCRUS

По вопросам производительности, кол-ва пользователей и размера данных думаю вполне возможно, что такую задачу ASA нормально выдержит, на форуме команды ASA они по таким вопросам ссылаются на эти результаты тестов. Однако я думаю слишком мало информации по требованиям, чтобы можно было гарантировать эффективную работу ASA. Мне лично на текущий момент известна успешная работа ASA 9 с 40 гб БД и парой сотней активных подключений.

Большой размер базы - это хорошо. Только как быть с конфликтами. 200 активных подключений это как?
Насколько активных? Объём выборок? Транзакций в секунду? Апдейтов в секунду? Селектов в секунду? Модет они все сидят и курят активно...

Posted via ActualForum NNTP Server 1.1

4 ноя 04, 14:56    [1083908]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Я по моему ссылочку привел, чтобы получить ответы на такие вопросы.
4 ноя 04, 15:36    [1084051]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Yo!
Guest
>Я по моему ссылочку привел, чтобы получить ответы на такие вопросы.

там один маркетинг: ни что за задача, ни что за запросы ... даже железа нет.
4 ноя 04, 16:08    [1084208]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
protector
Member

Откуда: Иваново, Россия
Сообщений: 600

Yo!

>Я по моему ссылочку привел, чтобы получить ответы на такие вопросы.
там один маркетинг: ни что за задача, ни что за запросы ... даже железа нет.


Реально можно рассматривать тесты со скриптами и полной информации о железе и.т.д, а то сказать то можно всё что угодно и даже не соврать при этом, а просто по другому взглянуть на факты...


Posted via ActualForum NNTP Server 1.1

4 ноя 04, 16:19    [1084247]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Ну так я тоже не получаю деньги в Sybase, чтобы организовывать и опубликовывать тесты по их продукции. Информацию по ASA могу давать только исходя из личного опыта работы с ней и моих коллег, а так же ссылок в интернете. Желающие сами могут провести необходимые исследования и тесты, что собственно говоря и было сделано компанией по указанной ссылке, где они потом информацию о результатах теста передали в iAnywhere. У меня лично нет желания тратить время на бесплатную рекламу чьей либо продукции, я могу только советовать и помогать коллегам. В данном случае я ничего не посоветовал, потому что слишком мало данных по задаче, чтобы я мог оценить пригодность ASA к ней.
4 ноя 04, 16:26    [1084277]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Рыжий Кот
Member

Откуда: Мягкий Диван; [забанен] Рустамом; [разбанен] П02;
Сообщений: 21678
В качестве эксперимента я заносил несколько миллионов в ASA.
Вроде тянуло неплохо, железо было 1ГГц + 512 Мб.
Но я не строил сложных запросов и пользователей было не больше двух-трех.
Поэтому не берусь заявлять, что 40 млн. записей ASA проглотит спокойно, особенно при десятках пользователей. Может все-таки Oracle?

:) Вот если будет репликация в проекте, то чаша сильно накренится в сторону Sybase :)

Картинка с другого сайта.
4 ноя 04, 16:28    [1084285]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Yo!
Guest
скажем так если у тебя ASA вытянет 40М с сотнями юзеров, то ты будешь один из немногих кому это удалось ... если интересно - рискни, заодно нам расскажешь. :)
4 ноя 04, 16:34    [1084314]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
_Dog
Member

Откуда: от туда...
Сообщений: 265
Yo!
скажем так если у тебя ASA вытянет 40М с сотнями юзеров, то ты будешь один из немногих кому это удалось ... если интересно - рискни, заодно нам расскажешь. :)


:) Думаю АСА вытянет на очень соотв. железе.

Можно использовать IQ (или АСЕ. Например попробовать с бесплатной АСЕ под Линух), но если бюджет на уровне АСА/Постгре и т.д., то IQ будет слишком дорого. IQ - eсли есть жесткие требования по скорости select'ов (напр. ответить до 5..10 сек. и запросы с суммами, каунтами и т.п.).
4 ноя 04, 18:22    [1084672]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
e60
Member

Откуда:
Сообщений: 89
Рыжий Кот
В качестве эксперимента я заносил несколько миллионов в ASA.
Вроде тянуло неплохо, железо было 1ГГц + 512 Мб.
Но я не строил сложных запросов и пользователей было не больше двух-трех.
Поэтому не берусь заявлять, что 40 млн. записей ASA проглотит спокойно, особенно при десятках пользователей. Может все-таки Oracle?

:) Вот если будет репликация в проекте, то чаша сильно накренится в сторону Sybase :)

Репликация конечно будет. Скорее всего будет 6-7 серваков в разных регионах страны. А что Sybase лучше реплицирует данные?
4 ноя 04, 18:54    [1084737]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
e60
Member

Откуда:
Сообщений: 89
_Dog
Yo!
скажем так если у тебя ASA вытянет 40М с сотнями юзеров, то ты будешь один из немногих кому это удалось ... если интересно - рискни, заодно нам расскажешь. :)


:) Думаю АСА вытянет на очень соотв. железе.

Можно использовать IQ (или АСЕ. Например попробовать с бесплатной АСЕ под Линух), но если бюджет на уровне АСА/Постгре и т.д., то IQ будет слишком дорого. IQ - eсли есть жесткие требования по скорости select'ов (напр. ответить до 5..10 сек. и запросы с суммами, каунтами и т.п.).

Здесь все должно быть нормально, т.е начать можно и с ASE под Linux бесплатной. Ведь 40 млн записей не сразу появится, а в течение 3 лет. Просто сейчас стоит вопрос в том с чего начинать.
Если мы начнем с Sybase, то потом ест-но купим нормальное железо и Sybase IQ.
Кстати имеет смысл начать с ASE под Linux бесплатной или лучше все же с ASA developer edition?
4 ноя 04, 19:00    [1084753]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
e60
Репликация конечно будет. Скорее всего будет 6-7 серваков в разных регионах страны. А что Sybase лучше реплицирует данные?

Считается, что у ASA одна из самых лучших и сильных репликаций, что и позволило ей занять хороший кусок рынка мобильных и удаленных СУБД. Можете скачать русскоязычное официальное руководство по репликациям ASA в pdf, правда по 8-ой версии ASA, но в 9-ке отличий не очень много, в основном дополнения.
4 ноя 04, 19:03    [1084762]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
e60
Member

Откуда:
Сообщений: 89
Кстати вот уже наше решение. Я на тестовый сервак установил Postgres и закачиваю туда 20 млн записей. А один мой знакомый мне залил 36 млн в Sybase и даст мне доступ протестировать полученные данные
4 ноя 04, 19:07    [1084765]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Yo!
Guest
что-то не врубаюсь - речь про ASA или ASE ?
начать только ASA/ASE это типа без долгоиграющих отчетов ?

имхо проще начать с песплатного посгре и двигатся в сторону оракла. идеалогии и язык pg/sql вроде достаточно близки. есть туча сецов, супорт и т.п.
4 ноя 04, 19:12    [1084773]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
ASCRUS
Member

Откуда: МО Электросталь
Сообщений: 5994
Yo!
что-то не врубаюсь - речь про ASA или ASE ?

В любом случае результат тестирования будет интересен, так что не надо так переживать :)

Yo!
начать только ASA/ASE это типа без долгоиграющих отчетов ?

А что - при работе с Ораклом жесткие диски быстрее начинают крутиться и в нем нет долгоиграющих отчетов ? :)
4 ноя 04, 19:17    [1084782]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
e60
Member

Откуда:
Сообщений: 89
Yo!
что-то не врубаюсь - речь про ASA или ASE ?
начать только ASA/ASE это типа без долгоиграющих отчетов ?

имхо проще начать с песплатного посгре и двигатся в сторону оракла. идеалогии и язык pg/sql вроде достаточно близки. есть туча сецов, супорт и т.п.

Речь идет о выборе СУБД, даже скорее направления. На данный момент их сформировалось 2:
Free SyBase ASE for Linux-> Sybase IQ+Sybase ASE (на серваке с неск процами)
SyBase ASA for Linux developer edition-> Sybase IQ+Sybase ASA (на серваке с неск процами)

PostgreSQL->Oracle
Еще нужна хорошая и наиболее надежная репликация. Вот сейчас в раздумьях.
А кто-нибудь делал репликацию с Oracle и что из этого получилось?
4 ноя 04, 19:25    [1084800]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
ЗоринАндрей
Member

Откуда: Санкт-Петербург
Сообщений: 3004
Не знаю как насчет 40M и сотен юзеров,
но в 2000м доводилось слышать про базу под ASA где-то 20Gb в которую заливали со скоростью 2,5k rows per min. двухголовый PII памяти 512MB.

насчет одновременных запросов - когда-то был лимит на threads = 100.
может ASCRUS в курсе есть ли он сейчас?

idle соединение отъедает несколько килобайт. так что удавалось держать одновременных подключений пару тысяч.

e60
А что Sybase лучше реплицирует данные?

По сравнению с MSSQL просто небо и земля.
4 ноя 04, 19:33    [1084810]     Ответить | Цитировать Сообщить модератору
 Re: Помогите выбрать СУБД  [new]
Рыжий Кот
Member

Откуда: Мягкий Диван; [забанен] Рустамом; [разбанен] П02;
Сообщений: 21678
Значит, говорите, репликация в 6-7 регионах, причем явно не в Европе... Наверное по каналам, мягко говоря, низкоскоростным и не всегда надежным...
Тогда у вас нет выбора :) Sybase!
Хотя если Yo! предложит действующую схему/инструмент (без квадратиков и человечков) для репликации, то берите Оракл.
Интуитивно понятно, что репликация между Sybase-ами будет гораздо легче, нежели между разнородными СУБД.

З.Ы. Кстати, заходите на ветку Sybase ASA, ASE, IQ, в поиске много интересных тем по репликации.

Картинка с другого сайта.
4 ноя 04, 20:17    [1084877]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить