Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Выбор БД под высоконагруженную задачу  [new]
miksoft
Member

Откуда:
Сообщений: 38919
Кифирчик
активность пользователей - допустим 3тыс./мин, или 50 обращений в сек (miksoft я не понял как вы 108тыс получили?)
В том-то и дело, что автор заявляет о 3-4 тысячах одновременных обращениях к БД (тынц).
Одно обращение один пользователь производит один раз в 2,5 - 3 минуты.
Если принять среднюю длительность "обращения" в 5 секунд, то и получается 3000*(180/5)=108000.
12 ноя 08, 18:19    [6431209]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
Неизвестный
Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2)

Sybase ASE - не экзотика, насчет Db2 - не уверен.

Неизвестный
и не масштабируемый за пределы Windows-сервера MS Sql Server


автор
Критерии выбора (по убыванию значимости):
6. Windows-платформа (не обязательно)
12 ноя 08, 18:53    [6431345]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
locky
Member

Откуда: Харьков, Украина
Сообщений: 62034
Chapai
locky,
посмотри п.4 критериев выбора СУБД.


автор
Критерии выбора (по убыванию значимости):
1. Быстродействие
2. Надежность (безпроблемный бэкап/восстановление в случае падения БД)
2. Масштабируемость.
4. Бесплатность (вдруг такое возможно :))

Выберите любые 3(?).
Обратите внимание на смайлик после "вдруг такое возможно".
12 ноя 08, 18:54    [6431353]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30253
автор
Если принять среднюю длительность "обращения" в 5 секунд, то и получается 3000*(180/5)=108000.

позвольте. такие вычисления не катят.
если каждый из 3000 пользователей может (!) обратиться к БД в интервале до 3 минут, то это значит что частота поступления запросов будет от максимальной 3000 (если все ломанулись) в секунду, до минимальной 3000/180=17 запросов в секунду.

Длительность же запроса влияет на количество обрабатываемых в секунду запросов. Если все 3000 ломанулись, то будет максимум в 3000 запросов в течение искомых 5 секунд, но все равно 3000 запросов за одну секунду.

Если же взять минимум в 16 запросов в секунду, но постоянно, и каждый длительностью в 5 секунд, то тогда сервер будет загружен все время 17*5=85 одновременно выполняющимися запросами. Или, грубо говоря, получается что минимальное число запросов, которое сервер будет выполнять (а не принимать) - это 85 запросов каждую секунду.

так что 108000 запросов - это невесть откуда взявшаяся цифра.
12 ноя 08, 19:37    [6431459]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
miksoft
Member

Откуда:
Сообщений: 38919
kdv
если каждый из 3000 пользователей может (!) обратиться к БД в интервале до 3 минут
Вы как-то вольно трактуете слова топикстартера, хотя он написал достаточно однозначно...
3000 - это одновременные обращения к БД, а не в интервале до 3 минут.
Т.е. начиная с некоторого момента в первые 5 секунд будет обработано 3000 обращений. В следующие 5 секунд - еще 3000 обращений других пользователей. Еще в следующие 5 секунд - еще 3000 обращений еще других пользователей. И т.д.
Через 180 секунд/5 секунд=36 таких циклов те пользователи, которые производили обращение в первые 5 секунд проведут обращение повторно.
12 ноя 08, 19:53    [6431507]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
kdv
Member

Откуда: iBase.ru
Сообщений: 30253
miksoft
Вы как-то вольно трактуете слова топикстартера, хотя он написал достаточно однозначно...
3000 - это одновременные обращения к БД, а не в интервале до 3 минут.


ничего подобного, вот цитаты:

>3. Количество одновременно работающих пользователей - от 3-4 тыс.
>Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе)

там же дальше было уточнение про
>Одновременно работающие - одновременно обращающиеся к БД

впрочем, я не претендую на телепатическое толкование мыслей топикстартера :-)

лично я понял так - 3-4 тысячи пользователей, каждый с интервалом в 2.5-3 минуты выдает запрос (тыкает кнопку). Из чего и исходил в своих вычислениях.
12 ноя 08, 22:27    [6431862]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
miksoft
Member

Откуда:
Сообщений: 38919
kdv
>Одновременно работающие - одновременно обращающиеся к БД

каждый с интервалом в 2.5-3 минуты выдает запрос (тыкает кнопку)
Хм, цитируете правильно, но тут же пересказываете неправильно.
"с интервалом в 2.5-3 минуты" ну ни как не похоже на "одновременно". Точнее говоря, похоже, но только если предположить, что среднее обращение имеет длительность в те же 2.5-3 минуты.
13 ноя 08, 09:58    [6432867]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
DPH
Guest
Ау, топикстартер :)
Так какая нагрузка по запросам-то?

Реально интересует:
1) число изменений в секунду (в транзакциях, с примерной оценкой сложности транзакции)
2) число запросов на чтение в секунду (с оценкой сложности запроса и возможности кэширования результата).
3) требуемый уровень надежности (три девятки или пять девяток)
4) на чем трехзвенка (это тоже имеет значение, как не смешно)
5) примерные сроки проекта

Ну и потом мы коллективно что-нибудь скажем :)

А вообще, стандартный совет - найми консультанта, в итоге дешевле будет :)
14 ноя 08, 04:58    [6438607]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54784

DPH
Ну и потом мы коллективно что-нибудь скажем :)

Да что тут думать?.. Раз топикстартер знает оракула - пусть и делает на
оракуле. Переучиваться куда-либо будет больно и, в-общем-то, бесполезно.

Posted via ActualForum NNTP Server 1.4

14 ноя 08, 19:34    [6443590]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Выбегалло
Member

Откуда: Scottsdale, AZ, USA
Сообщений: 3823
locky
Кифирчик
прорисуется 2..4 кандидата

Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.


не обязательно. На таком объеме данных и с таким числом юзеров можно попробовать новомодные in-memory и приближенные к ним СУБД - TimesTen от Оракла, solidDB от IDB, Genero DB.
14 ноя 08, 20:30    [6443744]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
DPH
Guest
Dimitry Sibiryakov

Да что тут думать?.. Раз топикстартер знает оракула - пусть и делает на
оракуле. Переучиваться куда-либо будет больно и, в-общем-то, бесполезно.

А это смотря какие требования и какой бюджет. А то окажется, что честное решение на порядок больше бюджета (что для Оракла может легко получиться) - и придется таки думать, чем заменить.

Все-таки, Оракл почти всегда - самое дорогое из возможных решений.

Сообщение было отредактировано: 15 ноя 08, 01:18
15 ноя 08, 00:16    [6444363]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Anton Demidov
Member

Откуда: Atlanta, GA
Сообщений: 1187
DPH
А то окажется, что честное решение на порядок больше бюджета (что для Оракла может легко получиться) - и придется таки думать, чем заменить.

Все-таки, Оракл почти всегда - самое дорогое из возможных решений.

Не удержался, чтоб не наехать на Оракл, да?
Впрочем, если твой доход зависит от уровня продаж/поддержки IBM DB2, то понять можно. По служебному положению конкурента обс#рать положено. Успехов.
15 ноя 08, 01:01    [6444473]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
DPH
Guest
DPH
Не удержался, чтоб не наехать на Оракл, да?
Впрочем, если твой доход зависит от уровня продаж/поддержки IBM DB2, то понять можно.


Ну почему сразу "наехать" :) Просто высказать свое личное мнение. Именно личное - я с компанией IBM никак не связан. Более того, сейчас на работе использую именно Oracle.

Скорее, мне не нравиться безальтернативность в большей части высказываемых суждений. Есть куча задач, где Oracle - действительно оптимальное решение. Есть куча задач, где Oracle будет только вреден. Ну и еще больше задач, которые почти все равно на чем делать и главное - это общая стоимость решения. И при рекомендации конкретного сервера неплохо бы сначала выяснить, что именно человеку нужно - а уже потом рекомендовать :)

P.S. Хотя, конечно, чем больше на рынке будет решений на DB2, тем проще мне будет для какого-нибудь очередном проекте найти DBA с опытом, а не выращивать его самому - тем самым уменьшить общую стоимость проекта.
17 ноя 08, 03:24    [6447370]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
АнатоЛой
Member

Откуда: Киев, Украина
Сообщений: 2897
Блог
Читал... Думал... А почему DB2 от IBM рассматривали, а вариант IBM Informix Dynamix Server 11.50 с интегрированным in-memory DB (SolidDB) и кластеризацией MACH11 - по боку?
Из плюсов: самим IBM именно он позиционируется как "порву всех на OLTP" :)
Из минусов: нет бесплатного варианта, но вариант с лицензирование по процессорам при таком количестве пользователей должен быть приемлемым... Ну и бесплатный Developer Edition под разработку...
17 ноя 08, 17:48    [6451370]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
АнатоЛой
Member

Откуда: Киев, Украина
Сообщений: 2897
Блог
П.С.: При желании отдельные вопросы конкретно по Informix можно задавать на этом же sql.ru в форуме Informix...
17 ноя 08, 17:49    [6451385]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
dph
Guest
АнатоЛой
Читал... Думал... А почему DB2 от IBM рассматривали, а вариант IBM Informix Dynamix Server 11.50 с интегрированным in-memory DB (SolidDB) и кластеризацией MACH11 - по боку?

Ну, я рекомендую только то, с чем имел дело.
Кстати, а сколько стоит лицензия с включенной SolidDB на процессор? Разрешающая использование в web?
17 ноя 08, 20:29    [6451999]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
АнатоЛой
Member

Откуда: Киев, Украина
Сообщений: 2897
Блог
dph

Ну, я рекомендую только то, с чем имел дело.

Если в таком контексте, каюсь: с SolidDB сам лично не сталкивался реально ни разу, с MACH11 - только в одной из вариаций - "горячая" репликация на один вторичный "read-only" сервер...
И тем не менее:
Customizing the Informix Dynamic Server for Your Environment

IBM solidDB V6.1 in-memory database extends IBM Data Management portfolio

dph

Кстати, а сколько стоит лицензия с включенной SolidDB на процессор? Разрешающая использование в web?

В таких деталях даже и не скажу...

Про SolidDB знаю, что нужен IDS Enterprise Edition 11.50 или 11.10, лицензия идёт именно per-processor (с коэффициентами для конкретного типа процессоров), при этом не знаю, лицензируется ли SolidDB дополнительно.

Никаких ограничений на "использование в web" ни разу в лицензиях Informix не встречал...

Без SolidDB 1 PVU (processor value unit) стоил в районе 300$. Для наиболее популярных процов одно ЯДРО оценивается в 50 PVU (Я надеюсь, что я ничего не попутал :)
Processor Value Unit [PVU] licensing for Distributed SW Updated September 17, 2008

Всё остальные вопросы лучше к дистрибьютору IBM в стране или в форум sqlru.Informix %)
17 ноя 08, 21:16    [6452099]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
АнатоЛой
Member

Откуда: Киев, Украина
Сообщений: 2897
Блог
Да, кстати, SolidDB есть и под DB2... И сам по себе :)... Но СУБД под OLTP от IBM - именно Informix!)
17 ноя 08, 21:19    [6452109]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
DPH
Guest
А, я думал, есть специальное решение с Informix+SolidDB, достаточно дешевое.
Так-то и Informix не дешевый, да и SolidDB тоже дорогая технология (как и TimesTen, впрочем)

Вообще, для малых и средних проектов пока, вроде бы, ничего лучше DB2 Express C так и нет. По отношению цене к качеству, понятное дело.

А вот понять, какой проект у топикстартера - увы, не получается...
18 ноя 08, 02:38    [6452666]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
немой
Member

Откуда: от туда.
Сообщений: 73
Chapai

Структура записи (типовая): числа + текст.

Что есть "типовая" ? number integer double и т.т есть числа, но размер и поведение разное - с этим пояснением никак.
Chapai

Количество полей в одной таблице не более 20. Blob/clob использовать не планируется.

Из первого пояснения - может быть и 50 полей по byte намного меньше чем 20 varchar.
Chapai

Запросы - линейные и древовидные. Трехэтажных запросов с тяжелыми расчетами внутир пока не планируется.

???? что есть линейность и древовидность в контексте трехэтажности?
Chapai

Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).
Возможны batch update/insert но это очень редкий случай.

т.е. это приложение для одного пользователя?
--------------------------
я это все к тому, что Вы просто еще не определились что считать, как считать и что вообще надо.
Обычно, строится логическая модель без привязки к конкретной СУБД.. А уж потом, можно сделать реальную оценку и как следствие - вывод о целесообразности той или иной СУБД.
К тому же, логическую модель реализовать можно на любой СУБД, а основное время тратится на разработку правильной модели дабы потом не было мучительно долго лепить project`s :)
11 дек 08, 21:31    [6559454]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
при выборе СУБД не забывайте считать и стоимость железа, бо для разных СУБД может потребоваться несколько разное железо. мы тут считали недавно сервера от IBM под IBM - 1 сервер под 1 лям баксов выходит.
14 дек 08, 15:25    [6568554]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
S.G.
Member

Откуда: cartoon network
Сообщений: 30611
Chapai

2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.

Chapai

Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).

Возможны batch update/insert но это очень редкий случай.

Гм, а откуда может взяться экспоненциальный рост объемов данных? Имхо, N пользователей, вбивающих данные с клавиатуры, могут увеличивать объем только линейно. А некий автоматический ввод- редкое явление по словам автора.
14 дек 08, 18:25    [6568873]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
Favn
Member

Откуда:
Сообщений: 585
AAron
при выборе СУБД не забывайте считать и стоимость железа, бо для разных СУБД может потребоваться несколько разное железо. мы тут считали недавно сервера от IBM под IBM - 1 сервер под 1 лям баксов выходит.
Простите, сколько-сколько? Это что же за сервера такие? Нет, конечно, можно монстра и на сотни лямов наконфигурячить при желании, если места в top-100 покоя не дают. Но уж никак не для
Chapai
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
Это хозяйство с пулом, если грамотно делать, и бесплатный Express-C потянет, не говоря об отн. дешевых DB2 Express/Workgroup, на простом x86-сервере с хорошей дисковой подсистемой. А DB2 работает на почти любом железе, не только IBM, мейнфреймы - опция
15 дек 08, 14:39    [6572178]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
Favn
AAron
при выборе СУБД не забывайте считать и стоимость железа, бо для разных СУБД может потребоваться несколько разное железо. мы тут считали недавно сервера от IBM под IBM - 1 сервер под 1 лям баксов выходит.
Простите, сколько-сколько? Это что же за сервера такие? Нет, конечно, можно монстра и на сотни лямов наконфигурячить при желании, если места в top-100 покоя не дают. Но уж никак не для
Chapai
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
Это хозяйство с пулом, если грамотно делать, и бесплатный Express-C потянет, не говоря об отн. дешевых DB2 Express/Workgroup, на простом x86-сервере с хорошей дисковой подсистемой. А DB2 работает на почти любом железе, не только IBM, мейнфреймы - опция

вот тут и начинается - хорошая дисковая подсистема, возможность масштабирования по процессорам, памяти и т.п.
я думаю, что это не секрет, чем больше процессорных сокетов тем сервер дороже. если собирать сервер на 64 сокета, то п...ц как дорого... причем это рекомендации IBM.
что касается данного случая - я лишь посоветовал учитывать, что железо может несколько варьироваться в зависимости от выбранной СУБД. в любом случае, 3 тыс. одновременных пользователей потребуют ресурсов операционной системы и СУБД просто на их поддержание. не говоря уже об исполнении запросов.
15 дек 08, 15:40    [6572624]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД под высоконагруженную задачу  [new]
db2man
Member

Откуда:
Сообщений: 109
автор
если собирать сервер на 64 сокета, то п...ц как дорого... причем это рекомендации IBM.

Нет у IBM сервера на 64 сокета, 64 ядра есть, 64 сокета - нет :)
А IBM он такой, емуб лишь бы впарить :) Но можно выбить скидку, если очень нужно, особенно если в разговоре с аккаунтом упоминать страшные слова типа HP или SUN
Если не секрет, для какой задачи IBM "нарекомендовал" POWER 595 ? Или речь про x3950M2 ?
15 дек 08, 16:20    [6572986]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить