Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Выбор БД для нагруженного портала ( много поиска )  [new]
Alex042
Member

Откуда:
Сообщений: 22
Сам я очень слабо разбираюсь в различных бд. Необходимо разработать портал со следующими возможностями:

Основная функция портала это поиск и добавление заявок.
Каждая заявка имеет ~ 35 параметров ( например – параметр: год выпуска ), 18 из них поисковые. Заявки будут добавляться ~ по 1 в сек, в пиковые часы до ~ 10 в сек
Все добавленные заявки должны сразу быть доступны для поиска.
~ 30 пользователей ежесекундно ( в пиковые ~ 100) будут искать заявки по нужным им параметрам.
Общее количество заявок в системе 200-300’000

так же
авторизация
предполагается использовать много аякса
и другие функции, но они уже более статичны ( статьи, информация о пользователя и т.д)

Вопрос: какие базы данных для этого более приспособлены?

P.S. Очень важна сохранность информации и отказоустойчивость. А так же не маловажным фактором, популярность бд, так как на узкоспециализированные бд сложнее найти программистов.
27 мар 10, 10:14    [8542130]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6645
Можно начинать выбирать по любым другим параметрам (цена, удобство,..)

Современные СУБД и железо даже на ноутбуке! обеспечивают скорость в тысячи и десятки тысяч транзакций.

Почитайте по форуму по скорость, по функционалу.
27 мар 10, 10:36    [8542156]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54849

Siemargl

Можно начинать выбирать по любым другим параметрам (цена, удобство,..)

+1.

Только начать всё-же со стандартного списка:
1) уже используется заказчиком
2) знакома разработчику

100 запросов в секунду в пике это не "нагруженный портал", а "мало кому
интересная дребедень".

Posted via ActualForum NNTP Server 1.4

27 мар 10, 13:45    [8542480]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6645
Dimitry Sibiryakov,

Или портал в интрасети. Тогда можно смотреть Sharepoint (но может выйти дорого по лицензиям)
27 мар 10, 14:45    [8542579]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Alex042
Member

Откуда:
Сообщений: 22
Siemargl - спасибо, я сам не очень разбираюсь в нагрузках, но знаком не с одним программистом ( видимо с плохими ), у которых порталы при 100 000 хитах виснут, хотя все говорят что 100 000 хитов это не нагрузка вовсе. Сколько там запросом на каждую страницу я не знаю, но это обычные информационные порталы.
.
Dimitry Sibiryakov - заказчиком, еще только мысль используется
возможно не нагруженный, уж извиииините, если не к той градации отнес, пусть будет сайт визитка с поиском :) от этого его параметры не изменяются
дребедень или нет - пусть будут решать пользователи.
.
Siemargl - контора в которой мы делали ТЗ рекомендовала нам разрабатывать в PostgreSQL или Microsoft SQL Server.
27 мар 10, 15:52    [8542709]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Толстый_Троль
Member [заблокирован]

Откуда:
Сообщений: 33
Alex042
Сам я очень слабо разбираюсь в различных бд. Необходимо разработать портал со следующими возможностями:

Основная функция портала это поиск и добавление заявок.
Каждая заявка имеет ~ 35 параметров ( например – параметр: год выпуска ), 18 из них поисковые. Заявки будут добавляться ~ по 1 в сек, в пиковые часы до ~ 10 в сек
Все добавленные заявки должны сразу быть доступны для поиска.
~ 30 пользователей ежесекундно ( в пиковые ~ 100) будут искать заявки по нужным им параметрам.
Общее количество заявок в системе 200-300’000

так же
авторизация
предполагается использовать много аякса
и другие функции, но они уже более статичны ( статьи, информация о пользователя и т.д)

Вопрос: какие базы данных для этого более приспособлены?

P.S. Очень важна сохранность информации и отказоустойчивость. А так же не маловажным фактором, популярность бд, так как на узкоспециализированные бд сложнее найти программистов.


Firebird Classic или SuperClassic (но не Superserver). Машинка можно двухядерная, но лучше 4-рёх. Память, рейды чем больше и быстрее тем лучше. Для пользователей память считаем мин 64Мб для сервера +8мб для каждого одновременно работающего пользователя. Можно меньше, но будет медленнее.

>>35 параметров
для каждого параметра который используется в условиях поиска по индексу, +несколько составных индексов для самых распространённых наборов поиска (лучше добавить во время эксплуатации).

Разработка портала(это вроде web) php но лучше java/jsp (выше производительность). Если выберете .NET могут быть проблемы.
27 мар 10, 16:55    [8542883]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Толстый_Троль
Member [заблокирован]

Откуда:
Сообщений: 33
Alex042

Siemargl - контора в которой мы делали ТЗ рекомендовала нам разрабатывать в PostgreSQL или Microsoft SQL Server.


В PostgreSQL можно, даже удобнее и мощнее(это де-факто бесплатный оракл), но разработка сложнее чем с FB.
Microsoft SQL Server - ограничиваете себя Windows и довольно дорогой лицензией(на процессор).

>>SQL Svr Standard Edtn Win32 Russian Lic/SA Pack OLP NL Processor License
http://www.softkey.ua/catalog/program_ver.php?ID=5087#o8224
~5500$
27 мар 10, 17:03    [8542910]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54849

Alex042

я сам не очень разбираюсь в нагрузках, но знаком не с одним
программистом ( видимо с плохими ), у которых порталы при 100 000 хитах
виснут, хотя все говорят что 100 000 хитов это не нагрузка вовсе.

А теперь сравни их 100 тысяч хитов и свои 100 (без тысяч).
Разница на три порядка.

Alex042
заказчиком, еще только мысль используется

Тогда естественно возникают вопросы:
1) где эта мысль потом будет хоститься. У провайдера, на выделенном
сервере (который опять же на площадке провайдера или у Васи Пупкина под
кроватью), или заказчик будет свой датацентр городить.
2) Какая требуется степень надёжности.
3) Насколько критична скорость отклика и чем она будет лимитироваться.

Firebird, конечно, потянет, но ей нужен будет соответствующий
разработчик и DBA.

Posted via ActualForum NNTP Server 1.4

27 мар 10, 17:09    [8542922]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Yo.!
Guest
если это сайт, значит повесить его захочется на хостинг, отсюда и плясать. хостеры предлагают mysql, postgres, реже mssql, oracle единицы ...
если постгрес вытягивает, я бы остановился на нем.
27 мар 10, 17:14    [8542935]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6645
Alex042
Siemargl - контора в которой мы делали ТЗ рекомендовала нам разрабатывать в PostgreSQL или Microsoft SQL Server.

Ну так разработчик пусть и командует. Ну и хостера подыщите. Бюджет проекта пока сверстаете, раз ТЗ есть.

Толстый_Троль идет в свое болото, учить лицензирование. Лицензия на MSSQL Web Edition почти вдвое дешевле и SA лишнее.
27 мар 10, 19:14    [8543161]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Толстый_Троль
Member [заблокирован]

Откуда:
Сообщений: 33
Siemargl
Alex042
Siemargl - контора в которой мы делали ТЗ рекомендовала нам разрабатывать в PostgreSQL или Microsoft SQL Server.

Толстый_Троль идет в свое болото, учить лицензирование. Лицензия на MSSQL Web Edition почти вдвое дешевле и SA лишнее.


3272.50$
http://xn--b1aficwgpgex.com/soft/microsoft/olp/sql-server-web-edition.html?side=right

Хотя проект тоже там в бюджет от 20000$, так что нормально.
27 мар 10, 19:57    [8543211]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Alex042
Member

Откуда:
Сообщений: 22
Толстый_Троль - спасибо за информацию

PostgreSQL - и мы вот более склоняемся к выбору этой бд, много достоинств у это бд при минимум недостатков. теперь бы разработчиков найти. )

лицензию там подешевле предлагали, но все равно. Как я понимаю, особой разницы с Microsoft SQL Server для нашего портала не будет, а тогда зачем платить лишнее, я лучше эти деньги разработчикам добавлю.

Dimitry Sibiryakov –

1. конечно же, на выделенном или 2, 3 ( надеюсь не более)
2. да чтобы кому не лень не ломали )
3. Так как у нас нет своих программистом, мы подходим с точки зрения пользователя, а для пользователя важно – как быстро появится то, что он запросил. Чем быстрее – тем лучше.

Не пояснил – у знакомого программиста 100’000 в сутки.
Наш же портал преполагает: 2-2’500’000 хитов в сутки (~ 30 запросов поиска в секунду), причем более половины из них это поиск по базе, и как я понимаю раз заявки постоянно доб/удал в течении дня, как-либо кэшировать это не получится.

Siemargl – наше сотрудничество на ТЗ и закончилось. Мы тогда окончательно решили, что надо искать на постоянную.
27 мар 10, 20:05    [8543218]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54849

Alex042
2. да чтобы кому не лень не ломали )
3. Так как у нас нет своих программистом, мы подходим с точки зрения
пользователя, а для пользователя важно – как быстро появится то, что он
запросил. Чем быстрее – тем лучше.

Под "надёжностью" я имел ввиду "доступность". Сколько времени в году
ресурс может быть недоступен?
"Чем быстрее - тем лучше" это сколько? В секундах. Вон, недавно один
кретин в firebird-support настаивал, что в примерно аналогичной системе
(только у него данных на два порядка больше) любой запрос не должен
выполняться дольше 100 миллисекунд. И что характерно, в них укладывался,
хоть и через задницу, не слушая добрых советов.

Posted via ActualForum NNTP Server 1.4

27 мар 10, 20:32    [8543267]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Alex042
Member

Откуда:
Сообщений: 22
Dimitry Sibiryakov,

желательно "24/7" - возможно отключение на до 3 мин ночью и то не желательно.

сколько миллисекунд не знаю, но желательно при нормальном канале, что то, что запрашивает поселитель загружалось не более 2 сек.
вот такая скорость загрузки меня более чем удовлетворит http://www.e1.ru/auto/sale/index.php?m=1659
27 мар 10, 20:46    [8543323]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54849

Alex042

желательно "24/7" - возможно отключение на до 3 мин ночью и то не
желательно.

Это потребует кластер и хорошего админа...

Posted via ActualForum NNTP Server 1.4

27 мар 10, 20:50    [8543337]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Alex042
Member

Откуда:
Сообщений: 22
Dimitry Sibiryakov

Alex042

желательно "24/7" - возможно отключение на до 3 мин ночью и то не
желательно.

Это потребует кластер и хорошего админа...


спасибо за совет, будет иметь ввиду. я надеюсь это уже растолкуют нам разработчики.
27 мар 10, 21:00    [8543364]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6645
Alex042,

Вы вдаетесь в детали, без общей картины. Пишите "кластер" в ТЗ =)

Хм, кластер на PG. Не в курсе. Отклоняюсь. Хотя в вебе кластер делается и без кластера БД.
27 мар 10, 21:33    [8543471]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
MBG
Guest
Alex042

~ 30 пользователей ежесекундно ( в пиковые ~ 100) будут искать заявки по нужным им параметрам.


Так не бывает. Если средняя нагрузка 30 TPS, то пиковая не меньше 200, а то и 1000, зависит от проекта. Еще момент - вы про полнотекстовый поиск или поиск по параметрам? Это очень сильно влияет на выбор.
27 мар 10, 21:53    [8543530]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
MBG
Guest
Да, еще момент - если размер БД превысит размер ОЗУ, на большинстве СУБД вы получите огромные, часто нерешаемые, проблемы. Так что лучше назовите предполагаемый размер БД (за три года обычно) и ОЗУ на сервере, чтобы более предметно можно было оценить задачу.
27 мар 10, 21:56    [8543541]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Alex042
Member

Откуда:
Сообщений: 22
Siemargl,

меня спросили - я ответил )

Спасибо всем за участие и помощь, я думаю следует теперь сосредоточиться на поиске этих самых разработчиков:

Кстати никто не подскажет где их можно найти? на фрилансе что-то мало нормальных специалистов.
27 мар 10, 21:58    [8543547]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Alex042
Member

Откуда:
Сообщений: 22
MBG
Alex042

~ 30 пользователей ежесекундно ( в пиковые ~ 100) будут искать заявки по нужным им параметрам.


Так не бывает. Если средняя нагрузка 30 TPS, то пиковая не меньше 200, а то и 1000, зависит от проекта. Еще момент - вы про полнотекстовый поиск или поиск по параметрам? Это очень сильно влияет на выбор.


к сожалению оценить реальную нагрузку мы не можем, так как оценивать еще не на чем.

поиско по параметрам
27 мар 10, 22:03    [8543557]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Alex042
Member

Откуда:
Сообщений: 22
MBG
Да, еще момент - если размер БД превысит размер ОЗУ, на большинстве СУБД вы получите огромные, часто нерешаемые, проблемы. Так что лучше назовите предполагаемый размер БД (за три года обычно) и ОЗУ на сервере, чтобы более предметно можно было оценить задачу.


Первое время сервер будет арендоваться, это точно - так что ОЗУ будет стоять столько, сколько потребудется.
27 мар 10, 22:07    [8543567]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
ЛП
Guest
MBG
Да, еще момент - если размер БД превысит размер ОЗУ, на большинстве СУБД вы получите огромные, часто нерешаемые, проблемы.

Вы глупость несусветную сказанули. Чушь чушовую.

Если данные влезают в ОЗУ, то никакие РСУБД и даром не нужны. Хватит сериализуемого на диск куска памяти ака массив.
РСУБД возникли (в том числе) для того, чтобы эффективно работать с данными, объём которых превышает не только доступное ОЗУ, но иногда и адресное пространство.
27 мар 10, 23:23    [8543770]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Mysqladdictive
Guest
http://www.e1.ru/auto/sale/index.php?m=1659
вчера, 20:46 [8543323] Ответить | Цитировать Сообщить модератору

Прикольно, этот посредник при заказчике считает что приведённая ссылка - поиск
Дезайнер небось или, что более вероятно топменеджер супервебстудии.
28 мар 10, 03:20    [8544059]     Ответить | Цитировать Сообщить модератору
 Re: Выбор БД для нагруженного портала ( много поиска )  [new]
Alex042
Member

Откуда:
Сообщений: 22
Mysqladdictive
http://www.e1.ru/auto/sale/index.php?m=1659
вчера, 20:46 [8543323] Ответить | Цитировать Сообщить модератору

Прикольно, этот посредник при заказчике считает что приведённая ссылка - поиск
Дезайнер небось или, что более вероятно топменеджер супервебстудии.


А кто тут утверждал, что это поиск?

Мне сказали, какая скорость загрузки Вам нужна, я и отвечаю С ТОЧКИ ЗРЕНИЯ ПОЛЬЗОВАТЕЛЯ.
Я не имею понятия как отследить эти 100, 200 миллисекунд? ( ну если они не выводятся внизу страницы)
И для ПОЛЬЗОВАТЕЛЯ, нет ни какой разницы, поиск это или статика - его волнует, когда по его ЩЕЛЧКУ - появится то, что он запросил? Или я не прав?
28 мар 10, 12:17    [8544402]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить