Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
Помогите с выбором СУБД.

Критерии выбора (по убыванию значимости):
1. Быстродействие
2. Надежность (безпроблемный бэкап/восстановление в случае падения БД)
2. Масштабируемость.
4. Бесплатность (вдруг такое возможно :))
5. Простота администрирования
6. Windows-платформа (не обязательно)

Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
12 ноя 08, 14:39    [6429232]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32912

Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:39:18 GMT:

Chapai
C> на первый этап. Дальнейший рост - экспонента.
C> 3. Количество одновременно работающих пользователей - от 3-4 тыс.

очередной курсач...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

12 ноя 08, 14:47    [6429307]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
Мимопроходящий

Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:39:18 GMT:

Chapai
C> на первый этап. Дальнейший рост - экспонента.
C> 3. Количество одновременно работающих пользователей - от 3-4 тыс.

очередной курсач...

--
With best regards, Мимопроходящий.



Очень хотелось бы чтобы так было на самом деле :)
12 ноя 08, 14:49    [6429332]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32912

Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:49:49 GMT:

Chapai
C> Очень хотелось бы чтобы так было на самом деле :)
неужели диплом?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

12 ноя 08, 14:54    [6429377]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
Мимопроходящий

Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:49:49 GMT:

Chapai
C> Очень хотелось бы чтобы так было на самом деле :)
неужели диплом?

--
With best regards, Мимопроходящий.



Хуже батенька, хуже :)

Такую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок.
Оценка по количеству записей на основе примерной структуры будущей БД.
12 ноя 08, 14:58    [6429406]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32912

Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:58:07 GMT:

Chapai
C> Хуже батенька, хуже :)
C> Такую постановку получил от заказчика.
и освоишь любую СУБД до уровня эксперта в рамках проекта?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

12 ноя 08, 15:03    [6429444]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
Мимопроходящий

Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:58:07 GMT:

Chapai
C> Хуже батенька, хуже :)
C> Такую постановку получил от заказчика.
и освоишь любую СУБД до уровня эксперта в рамках проекта?

--
With best regards, Мимопроходящий.



Если я не знаю эту систему то:
Заказчик будет проинформирован о необходимости привлечения дополнительных ресурсов для выполнения поставленной задачи (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).

Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровня
12 ноя 08, 15:13    [6429544]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32912

Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:13:39 GMT:

Chapai
C> Если я не знаю эту систему то:
C> Заказчик будет проинформирован о необходимости привлечения дополнительных
C> ресурсов для выполнения поставленной задачи
C> (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).
C> Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровня
вопросов больше не имею.
начни с поиска работы...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

12 ноя 08, 15:16    [6429582]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
Мимопроходящий

Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:13:39 GMT:

Chapai
C> Если я не знаю эту систему то:
C> Заказчик будет проинформирован о необходимости привлечения дополнительных
C> ресурсов для выполнения поставленной задачи
C> (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).
C> Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровня
вопросов больше не имею.
начни с поиска работы...

--
With best regards, Мимопроходящий.



А по теме ни фига и не сказали
12 ноя 08, 15:19    [6429609]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Мимопроходящий
Member

Откуда: бурятский тундрюк, эсквайр
Сообщений: 32912

Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:19:19 GMT:

Chapai
C> А по теме ни фига и не сказали
а с мысл?
был бы курсач, тогда ещё можно скостить.
а так - сферический конь в вакууме... (С)

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

12 ноя 08, 15:24    [6429658]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Кифирчик
Member

Откуда: СПб
Сообщений: 939
Chapai
Помогите с выбором СУБД.
Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.

сильно размыто...
п.2 - запись может быть int, а может быть и varchar(255) или blob... соответственно то ,что их просто 3..4 миллиона это не очём не говорит, нужно примерное описание таблиц
п.3 - пользователь может сидеить, и тыкать программу два раза в час, а может каждую минуту запрашить чё-нить и тут-же записывать/обновлять, опишите характер и частоту запросов

опишите свою задачу подробнее, и наши гуру вам с удовольстивем ответят )

когда станет понятно, с какими объёмими и с какой интенсивностью придётся работать СУБД, прорисуется 2..4 кандидата
12 ноя 08, 15:48    [6429872]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
Кифирчик
прорисуется 2..4 кандидата

Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.
12 ноя 08, 16:24    [6430238]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
Кифирчик
Chapai
Помогите с выбором СУБД.
Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.

сильно размыто...
п.2 - запись может быть int, а может быть и varchar(255) или blob... соответственно то ,что их просто 3..4 миллиона это не очём не говорит, нужно примерное описание таблиц
п.3 - пользователь может сидеить, и тыкать программу два раза в час, а может каждую минуту запрашить чё-нить и тут-же записывать/обновлять, опишите характер и частоту запросов

опишите свою задачу подробнее, и наши гуру вам с удовольстивем ответят )

когда станет понятно, с какими объёмими и с какой интенсивностью придётся работать СУБД, прорисуется 2..4 кандидата


Структура записи (типовая): числа + текст. Количество полей в одной таблице не более 20. Blob/clob использовать не планируется.

Запросы - линейные и древовидные. Трехэтажных запросов с тяжелыми расчетами внутир пока не планируется.

Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).

Возможны batch update/insert но это очень редкий случай.
12 ноя 08, 16:50    [6430512]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
locky,

посмотри п.4 критериев выбора СУБД.

Проблема в том что в случае выбора платной СУБД заказчику придется приводить железобетонные аргументы "ЗА" и давай полный расклад почему тоже самое нельзя повторить на бесплатной СУБД
12 ноя 08, 16:51    [6430533]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
miksoft
Member

Откуда:
Сообщений: 38921
Chapai
Запросы - линейные и древовидные.
Что в вашем понимании "древовидные" запросы? Если это иерархические, то учтите, что они есть не во всех СУБД.
Chapai
Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).
Chapai
3. Количество одновременно работающих пользователей - от 3-4 тыс.
"Одновременно работающие" - это открытые сессии или "обращение" ?
12 ноя 08, 17:06    [6430678]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Неизвестный
Guest
locky
Кифирчик
прорисуется 2..4 кандидата

Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.


Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2) и не масштабируемый за пределы Windows-сервера MS Sql Server, то останется все тот же самый Oracle. Выбор есть, но он сводиться в конечном итоге к одному пункту (для корпоративных систем с большой нагрузкой, производительностью и масштабируемостью на более мощные чем под Windows серверы).
12 ноя 08, 17:25    [6430822]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
miksoft
Chapai
Запросы - линейные и древовидные.
Что в вашем понимании "древовидные" запросы? Если это иерархические, то учтите, что они есть не во всех СУБД.
Chapai
Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).
Chapai
3. Количество одновременно работающих пользователей - от 3-4 тыс.
"Одновременно работающие" - это открытые сессии или "обращение" ?


Древовидные запросы: запросы вида select ... from connect by prior a=b

Одновременно работающие - одновременно обращающиеся к БД
12 ноя 08, 17:32    [6430890]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
Неизвестный
locky
Кифирчик
прорисуется 2..4 кандидата

Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.


Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2) и не масштабируемый за пределы Windows-сервера MS Sql Server, то останется все тот же самый Oracle. Выбор есть, но он сводиться в конечном итоге к одному пункту (для корпоративных систем с большой нагрузкой, производительностью и масштабируемостью на более мощные чем под Windows серверы).


А почему Вы считаете что тот же Sybase - экзотика?

Oracle - это конечно хорошо, НО стоимость их лицензий - немаленькая
12 ноя 08, 17:34    [6430906]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
miksoft
Member

Откуда:
Сообщений: 38921
Chapai
Oracle - это конечно хорошо, НО стоимость их лицензий - немаленькая
По сравнению с полной стоимостью проекта, думаю, не очень большая :)
12 ноя 08, 17:36    [6430927]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Di_LIne
Member

Откуда: Тропик Скорпиона
Сообщений: 32554
Chapai
Такую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок.
Кхм-кхм... А хто-нить проверял или ваапче их в глаза видел?
12 ноя 08, 17:38    [6430944]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
Di_LIne
Chapai
Такую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок.
Кхм-кхм... А хто-нить проверял или ваапче их в глаза видел?


Хотелось бы да я думаю что хрен дадут - коммерческая тайна.
12 ноя 08, 17:42    [6430968]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
miksoft
Member

Откуда:
Сообщений: 38921
Chapai
miksoft
Chapai
Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).
Chapai
3. Количество одновременно работающих пользователей - от 3-4 тыс.
"Одновременно работающие" - это открытые сессии или "обращение" ?
Одновременно работающие - одновременно обращающиеся к БД
Допустим, одно "обращение" идет 5 секунд. Тогда получается, что одноврменно 3000*(180/5)=108000 пользователей держат у себя некую запущенную программу и что-то там ковыряются.
Вы уверены, что в исходных данных нет ошибки порядка на два-три?
12 ноя 08, 17:45    [6430987]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Chapai
Member

Откуда:
Сообщений: 48
miksoft
Chapai
miksoft
Chapai
Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).
Chapai
3. Количество одновременно работающих пользователей - от 3-4 тыс.
"Одновременно работающие" - это открытые сессии или "обращение" ?
Одновременно работающие - одновременно обращающиеся к БД
Допустим, одно "обращение" идет 5 секунд. Тогда получается, что одноврменно 3000*(180/5)=108000 пользователей держат у себя некую запущенную программу и что-то там ковыряются.
Вы уверены, что в исходных данных нет ошибки порядка на два-три?


Максимум ошибки - в 2-3 раза.

К сожалению(((
12 ноя 08, 17:50    [6431026]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Кифирчик
Member

Откуда: СПб
Сообщений: 939
ИМХО,
если в таблице 20 полей, и, допустим 2 их них int, а остальные char(100), то одна запись - 1,68кб
если предположить, что записей во всех таблицах... 5 млн. .. то база примерно 8гб... это всё конечно очень "примерно" но общую картину даёт... 7..12Гб база.. ну пусть 20гб...

активность пользователей - допустим 3тыс./мин, или 50 обращений в сек (miksoft я не понял как вы 108тыс получили?) не так то и много, и если это запросы простые, и, как сказал автор, будет сервер приложений... т.е. не так много подключений напрямую к СУБД, можно в случе наобходимости "демпфировать" нагрузку пользователей... вполне и постгрис справится

масштабирование: у постгреса есть свои фенечки... можно и средствами сервера приложений масштабироваться, научить чтобы с 2..3 серверами БД одновременно работал.. несколько серверов приложений, и по ним раскидывать пользователей...

правда не знаю как у постгриса с древовидными запросами
с другой стороны, понятно, что оракл и DB2 конечно круче... и так как есть сервер приложений, то много лицензий не надо )
12 ноя 08, 18:04    [6431130]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
miksoft
Member

Откуда:
Сообщений: 38921
Chapai
Максимум ошибки - в 2-3 раза.

К сожалению(((
Вы заявляете нагрузку, сравнимую со всем Яндексом (у того в среднем 2200 хитов в секунду за последние пять рабочих дней), и спрашиваете о выборе СУБД???
Я понимаю, что сложность Яндексовых хитов сильно больше вашей, но все равно вся картина похожа на некий сюрреализм.
12 ноя 08, 18:12    [6431179]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить