Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Нужна консультация по очень большой нагрузке  [new]
SERG1257
Member

Откуда:
Сообщений: 2933
автор
Я плохо выразился. А сколько разных IP в сутки и сколько, например, в секунду в пике.
Именно "разных" (по которым аггрегацию и нужно проводить).

И инфа нужна именно оперативная? С точностью до последнего запроса последней секунды?
24 мар 12, 22:46    [12308296]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Берешь любую СУБД
Guest
Сколько разговоров о элементарной задаче :)
25 мар 12, 01:31    [12308933]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Stinger03
Member

Откуда:
Сообщений: 27
DPH3
В среднем около 150кк в среднем и до 360кк в пиках в сутки. в сукунду до 10к в пиках, но это редко. среднее что то около 2-3к в секунду.

Я плохо выразился. А сколько разных IP в сутки и сколько, например, в секунду в пике.
Именно "разных" (по которым аггрегацию и нужно проводить).

Они все разные. повторения достаточно редки. редко когда будет больше 10 повторений в сутки. поэтому в таблице будет около 150-300кк записей
25 мар 12, 03:28    [12309082]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Stinger03
Member

Откуда:
Сообщений: 27
SERG1257
автор
Я плохо выразился. А сколько разных IP в сутки и сколько, например, в секунду в пике.
Именно "разных" (по которым аггрегацию и нужно проводить).

И инфа нужна именно оперативная? С точностью до последнего запроса последней секунды?

инфа нужна крайне оперативно. от нее зависит по какому алгоритму обрабатывать запрос. ответ должен быть в доли секунды - был ли такой ип и сколько раз
25 мар 12, 03:31    [12309084]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
sphinx_mv
Member [заблокирован]

Откуда:
Сообщений: 1672
Stinger03
SERG1257
пропущено...

И инфа нужна именно оперативная? С точностью до последнего запроса последней секунды?

инфа нужна крайне оперативно. от нее зависит по какому алгоритму обрабатывать запрос. ответ должен быть в доли секунды - был ли такой ип и сколько раз

Если смысл анализа статистики количества запросов с какого-то отдельно взятого IP-адреса за определенный период времени еще как-то просматривается (сам сталкивался), то изменение алгоритма обработки запроса в зависимости от количества ранее сделанных запросов (ака, номера текущего запроса с конкретного IP-адреса) для СУБД - как-то не очень...
25 мар 12, 13:13    [12309636]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54818

Stinger03
Они все разные. повторения достаточно редки. редко когда будет больше 10 повторений в
сутки. поэтому в таблице будет около 150-300кк записей

Обращения с двухсот миллионов уникальных IP-адресов в сутки... Гугль? Скайп? Аська?..

Posted via ActualForum NNTP Server 1.5

25 мар 12, 13:17    [12309652]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Stinger03
Member

Откуда:
Сообщений: 27
Dimitry Sibiryakov,

Нет, реклама и трафик.
Просто я правда говорю, что задача достаточно нетривиальная и нагрузка идет высокая.
Иногда упираемся даже в физические ограничения протоколов и железа.
25 мар 12, 22:03    [12311378]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54818

Stinger03
Нет, реклама и трафик.
Просто я правда говорю, что задача достаточно нетривиальная и нагрузка идет высокая.

300 миллионов адресов IPv4 это массив размером в гигабайт. Всё пространство адресов у IPv4
- четыре гигабайта. Оно целиком влезает в память. Что нетривиального в том, чтобы
построить в памяти дерево и повесить ему на листья счётчики? Или даже простейший массив.
16 гигабайт ОЗУ хватит чтобы посчитать по четыре миллиарда подключений в сутки с каждого
из возможных и невозможных адресов. А у тебя, как ты говоришь, количество повторных
подключений не превышает десятка.

В какие ограничения вы там упираетесь?

Posted via ActualForum NNTP Server 1.5

25 мар 12, 22:46    [12311559]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Bazist
Member [заблокирован]

Откуда: Спілкуйся Українською
Сообщений: 8157
Блог
Стебелек бери.
Вставляет 20 млн в секунду
на Икор7. В 20 раз быстрее
чем стд::мап
4 май 12, 23:15    [12511077]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Bazist
Member [заблокирован]

Откуда: Спілкуйся Українською
Сообщений: 8157
Блог
сегодня был тест
80 миллионов вставок за 4 секунды.
4 май 12, 23:16    [12511085]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
ДохтаР
Member [заблокирован]

Откуда: Новоукраинск
Сообщений: 16864
sphinx_mv
Stinger03
пропущено...

инфа нужна крайне оперативно. от нее зависит по какому алгоритму обрабатывать запрос. ответ должен быть в доли секунды - был ли такой ип и сколько раз

Если смысл анализа статистики количества запросов с какого-то отдельно взятого IP-адреса за определенный период времени еще как-то просматривается (сам сталкивался), то изменение алгоритма обработки запроса в зависимости от количества ранее сделанных запросов (ака, номера текущего запроса с конкретного IP-адреса) для СУБД - как-то не очень...


Нормальная и правильная постановка задачи для автоматического контроля ДДОС .
Отсуюда и разный алгоритм , что бы ненапрягаясь отдавать дедосящим факоФФ или редирект наюх
ничего другого не делая.

Stinger03, угадал ?
5 май 12, 00:21    [12511191]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
sphinx_mv
Member [заблокирован]

Откуда:
Сообщений: 1672
ДохтаР
sphinx_mv
пропущено...


Нормальная и правильная постановка задачи для автоматического контроля ДДОС .
Отсуюда и разный алгоритм , что бы ненапрягаясь отдавать дедосящим факоФФ или редирект наюх
ничего другого не делая.

Ни к нормальной, ни, тем более, к правильной постановке задачи ЭТО никакого отношения не имеет.
По простой причине - решение задачи защиты сетевых ресурсов к задачам СУБД не относится...
5 май 12, 11:15    [12512209]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
neoddd
Member

Откуда:
Сообщений: 113
Redis - самое то
9 май 12, 14:13    [12526487]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
SergSuper
Member

Откуда: SPb
Сообщений: 5488
вот думаю: может банить тех кто пишет "ХХХ - самое то" ? если человек ничего умного больше не в состоянии написать - стоит ли ему писать?
9 май 12, 18:02    [12527007]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
neoddd
Member

Откуда:
Сообщений: 113
Stinger03
Попытаюсь обьяснить суть задачи.
Около 150-200кк запросов к серверу в сутки
Это около 1700-2300 запросов в секунду.
Задача - определить было ли уже в течении 24 часов обращение с одного и того же ИП и желательно сколько раз.
Хранить данные более 24 часов ненужно.
Что потянет подобную задачу и потянет ли вообще?


автор
вот думаю: может банить тех кто пишет "ХХХ - самое то" ? если человек ничего умного больше не в состоянии написать - стоит ли ему писать?


Уважаемый модератор, по-моему я точно и полно ответил на вопрос топикстартера. Разбираю по частям:
автор
Что потянет подобную задачу

Redis

автор
и потянет ли вообще


- самое то.

Или нужно мануал сюда вставить? Краткость - сестра таланта!
10 май 12, 12:58    [12529415]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Bazist
Member [заблокирован]

Откуда: Спілкуйся Українською
Сообщений: 8157
Блог
Такую задачу потянет обычная хештаблица.
Зачем Редис то ?
10 май 12, 13:02    [12529443]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
neoddd
Member

Откуда:
Сообщений: 113
Bazist
Такую задачу потянет обычная хештаблица.
Зачем Редис то ?


Вы собираетесь одним вебсервером обойтись? По-моему, там без фермы никак, так что будете делать хештаблицу в отдельном процессе и соответственно заново откроете Редис :)
10 май 12, 13:08    [12529509]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Bazist
Member [заблокирован]

Откуда: Спілкуйся Українською
Сообщений: 8157
Блог
neoddd,

Гдеже вы такие беретесь. Какая ферма, что за бред.
Обычная хештаблица тянет 5-10 млн вставок / секунда.
Какой нибудь 286й или 386й, 90х годов завалявшийя на чердаке потянет с головой 2 тысчи вставок в секунду.
Можно взять Стебельковые алгоритмы, те 80 млн айпи адресов вставляют/апдейтят/ищут за 4,5 секунды на Икор7
в инмемори режиме. Но ТСу такая мощность просто не нужна ...
10 май 12, 14:16    [12530079]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
neoddd
Member

Откуда:
Сообщений: 113
Bazist
Гдеже вы такие беретесь. Какая ферма, что за бред.


Вежливо отвечаю: ферма для обработки веб-запросов. То есть несколько веб-серверов должны иметь доступ к общей хеш-таблице, которая, получается, должна находиться в отдельном процессе. К тому же это обеспечит сохранность данных на случай падения какого-то вебсервера в ферме. Основы основ, а вы все своими алгоритмами хвалитесь.
10 май 12, 14:24    [12530137]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Bazist
Member [заблокирован]

Откуда: Спілкуйся Українською
Сообщений: 8157
Блог
neoddd,

С чего вы взяли что у ТСа несколько вебсерверов и все не крутится на одной тачке ?
10 май 12, 14:27    [12530152]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Bazist
Member [заблокирован]

Откуда: Спілкуйся Українською
Сообщений: 8157
Блог
Stinger03
Около 150-200кк запросов к серверу в сутки


Вижу единственое число.
Видимо один сервер, одна хештаблица, зачем ферма я так и не понял.
10 май 12, 14:28    [12530165]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
neoddd
Member

Откуда:
Сообщений: 113
Bazist

Вижу единственое число.
Видимо один сервер, одна хештаблица, зачем ферма я так и не понял.


Это просто надо знать, что при такой нагруженности всегда несколько серверов в ферме стоит, даже если один справляется, есть fail-over.
10 май 12, 14:34    [12530229]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Bazist
Member [заблокирован]

Откуда: Спілкуйся Українською
Сообщений: 8157
Блог
neoddd,

2000 запросов это вообще порожняковая нагрузка.
На этот форум думаю поболее приходит в пик и не думаю что прямо у Джуджа ферма серверов стоит.
При нормальном посоле обычный веб сервер может до полумиллиона запросов держать.
Но конечно если там не такие "разработчики" которые вместо каждой хештаблицы в коде редис лепят
10 май 12, 14:42    [12530313]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
neoddd
Member

Откуда:
Сообщений: 113
Stinger03
SERG1257
пропущено...
http://en.wikipedia.org/wiki/Server_farm

это само-собой и так сейчас работает, ибо на каждый полученный запрос формируется 3-4 от нас, обрабатывается с них инфа и выдается наружу. Но вот с некоторыми вопросами статистики выходят затыки. поэтому решил у олла проконсультироватся. коллективный разум оно сподручнее :)


Bazist, обьясните, вы предлагаете компании терять деньги и клиентов, если единственный сервер упадет или ваши сервера никогда не падают и в датацентрах электричество не пропадает?
10 май 12, 14:45    [12530344]     Ответить | Цитировать Сообщить модератору
 Re: Нужна консультация по очень большой нагрузке  [new]
Bazist
Member [заблокирован]

Откуда: Спілкуйся Українською
Сообщений: 8157
Блог
neoddd
Bazist, обьясните, вы предлагаете компании терять деньги и клиентов, если единственный сервер упадет или ваши сервера никогда не падают и в датацентрах электричество не пропадает?


Я не понимаю, вам что ТС подошел и начал плакатся в жилетку что у него падают сервера ?
У ТСа элементарная как 5 копеек задача. Откуда взялись фермы, откуда взялось решение тысячи непонятных проблем.
Все сервера падают конечно, и этот сайт раз другой лежит в дауне в месяц и ничего, живет както развивается.
10 май 12, 14:51    [12530425]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить