Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Раздушить по количеству WebSocket подключений  [new]
JDS
Member

Откуда:
Сообщений: 687
В нетбинзе сделал по гайду простой сервер, принимающий сокет-подключения.
Приложение по дефолту деплоится на GF 4.0
Все работает.

Пробуй проверить сколько коннектов может создать.
На клиенте в js создаю массив и туда в цикле пихаю new WebSocket.
То есть открываешь страницу и она в js генерит коннекты к приложению.

1. коннекты создаются довольно медленно
2. затыкается стабильно на 191-ом коннекте и дальше будто ничего не происходит.
На сервере в javax.websocket.OnOpen после 191 подключения ничего не приходит, на клиенте в try catch ничего не падает.

Вопросы
1. куда копать, почему 190 и все?
2. как правильно проверить максимальное число подключений?
3. если число подключений ограничено, какая стратегия работы с websocket?
4. как защититься от генерации большого числа коннектов на открытом для общего доступа сайте?

Изначально вопрос возник отсюда.
Можно все делать на том же ajax и опрашивать сервер например 1 раз в сек, данные для ответа брать из кэша приложения (чтобы не лазить по каждому запросу в БД), но не уверен, что это нормальный подход и не знаю какую нагрузку можно держать при таком варианте.
Поэтому интересно посмотреть в сторону вебсокетов, чтобы не опрашивать сервер кучей сессий каждую секунду, а отправлять клиентам инфу по мере ее готовности на сервере.

Сообщение было отредактировано: 13 мар 20, 22:44
13 мар 20, 22:43    [22098911]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3531
JDS
1. куда копать, почему 190 и все?
Кроме (возможных) настроек сервера приложений, если еще лимиты операционной системы и браузера (я бы поставил на браузер, да и проверить это легко: запустить два )
JDS
4. как защититься от генерации большого числа коннектов на открытом для общего доступа сайте?
так никто в интернетах вебсокеты без необходимости (если не нужен "риалтайм") не использует: https://en.wikipedia.org/wiki/Push_technology
14 мар 20, 00:59    [22098946]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17568
Андрей Панфилов
так никто в интернетах вебсокеты без необходимости (если не нужен "риалтайм") не использует:
а зря, это наиболее простой метод и самый экономичныйс точки зрения трафика, нагрузки на сервер.
JDS
1. коннекты создаются довольно медленно
где измеряется? и как измеряется эта медленность?
JDS
2. затыкается стабильно на 191-ом коннекте и дальше будто ничего не происходит.
что за операционка?
у ws ограничение в ~65к подключений на 1 ip порт.

JDS
4. как защититься от генерации большого числа коннектов на открытом для общего доступа сайте?
какая проблема? любой сайт - это http подключение, раз на сервере рыба - у java есть сессия - вот и привяжи сессию ws к сессии http, можно несколько сессий ws к одной сессии http, чтоб можно было открывать несколько страниц в разных вкладках.
14 мар 20, 12:18    [22099017]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
mayton
Member

Откуда: loopback
Сообщений: 45514
Я не понимаю тестовых условий. GF - это GlassFish?
191 физический сокет это мало. Если клиент - это понятно зачем. Нефик.
Если сервер - что за операционка? Если GlassFish - что за настройки?
Java в явном виде не ограничивает количество сетевых сокетов.

Вобще очень полезно для понимания проблемы прикладывать
сводку о конфигурации.
14 мар 20, 12:50    [22099027]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3531
вадя
это наиболее простой метод и самый экономичный с точки зрения трафика, нагрузки на сервер.
и самый unreliable
14 мар 20, 13:20    [22099036]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17568
Андрей Панфилов
вадя
это наиболее простой метод и самый экономичный с точки зрения трафика, нагрузки на сервер.
и самый unreliable
ты просто не умеешь их готовить.
14 мар 20, 16:07    [22099078]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
JDS
Member

Откуда:
Сообщений: 687
Да. Ограничение похоже, что в браузерах. В фоксе не дает больше 190, в хроме - 260.
Ну допустим.
Вопрос гор. и вертик. масштабируемости все равно актуален.
65К подключений это немало, но и немного.
Информация обрывочная, целостной картины не собрать. Кто-то пишет про мультиплексоры, которые распределяют коннекты по разным портам что ли. Кто-то про балансировщики. Кто-то прикручивает до кучи брокеры. Но в итоге якобы догоняют количество коннектов до 1млн на одной машине.
А так да пока винда и гласфиш.

Сообщение было отредактировано: 16 мар 20, 17:09
16 мар 20, 17:09    [22100060]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8475
JDS

65К подключений это немало, но и немного.

AFAIK ограничение протокола TCP/IP

JDS

Но в итоге якобы догоняют количество коннектов до 1млн на одной машине.

AFAIK тогда, теоретически, нужно кол-во адресов TCP/IP увеличивать
Ну и если сервер выдержит, то еще вопрос, выдержит ли роутер/свитчь )))

Но вообще, громоздить все на одну машину - странное желание. Для какого нибудь балансира/мультиплексора ресурсов особо не требуется. Проще выкинуть на отдельный аппаратный сервер уровня Arduino ))) IMHO ))) дешево, надежно и сердито.

Ну и понятное дело, что только NIO. При классических сокетах и "обычном" (TM) Linux, сервера уже при > 10 тыс. потоков сдыхать начинают. AFAIK
16 мар 20, 17:33    [22100071]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 4508
JDS
Вопрос гор. и вертик. масштабируемости все равно актуален.
тему топика меняй
16 мар 20, 17:41    [22100076]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
mayton
Member

Откуда: loopback
Сообщений: 45514
JDS
Да. Ограничение похоже, что в браузерах. В фоксе не дает больше 190, в хроме - 260.
Ну допустим.
Вопрос гор. и вертик. масштабируемости все равно актуален.
65К подключений это немало, но и немного.
Информация обрывочная, целостной картины не собрать. Кто-то пишет про мультиплексоры, которые распределяют коннекты по разным портам что ли. Кто-то про балансировщики. Кто-то прикручивает до кучи брокеры. Но в итоге якобы догоняют количество коннектов до 1млн на одной машине.
А так да пока винда и гласфиш.

Ты понимаешь что одновременное количество сокетов - это суть одновременное количество работающих Threads?

Ты хотябы 100 вычислительных потоков попробуй запусти. У тебя от этого поплывёт CPU. И никакой более
ползеной работы этот CPU не сделает. Он будет в спинах и локах висеть на самом деле.

А если твоя задача такова что на самом деле полезной работы не делается а сокеты просто висят
(для красоты) то наверное тогда надо архитектуру приложения пересмотреть.

Зачем они висят? Просто жрут память? Для справки любой сокет требует буфера памяти. Такова есть
природа TCP/IP. Ему буфер нужен. Буфер! Чтобы шум из эфира собирать в цельные стримы. Здесь каждая
ОС по своему выделяет. Но ты просто попробуй 64000 сокетов создать на любой машине. И потом
расскажи как эта машина себя чувствует.
16 мар 20, 17:41    [22100077]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17568
вадя
у ws ограничение в ~65к подключений на 1 ip порт.
я ведь не зря это написал
ведь можно тот же томкат использовать на несколько портов( кроме 80 или 8080) и на каждый порт ещЁ по 65к ws портов...
16 мар 20, 17:45    [22100083]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8475
mayton

Ты понимаешь что одновременное количество сокетов - это суть одновременное количество работающих Threads?

---

NIO
16 мар 20, 18:29    [22100128]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
mayton
Member

Откуда: loopback
Сообщений: 45514
Leonid Kudryavtsev
mayton

Ты понимаешь что одновременное количество сокетов - это суть одновременное количество работающих Threads?

---

NIO

Этот ответ столь же полезен и прекрасен для автора как панацея для средневекового доктора.
16 мар 20, 19:15    [22100161]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8475
В NIO нет связи соккет=поток. 6-20 потоков (если считать и служебные) вполне могут разгребать тысячи сокетов одновременно (мой код точно 600-800 и более одновременно в продакшене держал, для JVM было выделяно вроде 4 ядра)
16 мар 20, 19:42    [22100177]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8475
И, вроде, в I-net'е гуглится, что лимита особого и нет. Просто все упирается в память.

"There isn’t a useful hard limit, as you run into various problems long before you hit numerical restrictions, and it depends on the hardware — memory, number of cores, the network interfaces, etc."
16 мар 20, 19:45    [22100179]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
mayton
Member

Откуда: loopback
Сообщений: 45514
Флаг в руки. Веди автора до конца.
16 мар 20, 19:51    [22100182]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3531
Leonid Kudryavtsev
В NIO нет связи соккет=поток.
И не в NIO, внезапно, тоже.
16 мар 20, 19:52    [22100183]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17568
mayton
А если твоя задача такова что на самом деле полезной работы не делается а сокеты просто висят
(для красоты) то наверное тогда надо архитектуру приложения пересмотреть.
ну ws жрут меньше чем http сессия.
mayton
Зачем они висят? Просто жрут память? Для справки любой сокет требует буфера памяти. Такова есть
природа TCP/IP. Ему буфер нужен. Буфер! Чтобы шум из эфира собирать в цельные стримы. Здесь каждая
ОС по своему выделяет. Но ты просто попробуй 64000 сокетов создать на любой машине. И потом
расскажи как эта машина себя чувствует.
вот это и интересно с точки зрения возможностей и ограничений.
на SO писали что у них висят сессии по 1.5 года. и как бы они не парятся (хотя, скорее всего, это просто отвалившиеся клиенты, и SO не проверяет их пин-понгом). если б это было слишком накладно , то они, наверно, позакрывали б такие сессии .

mayton
то наверное тогда надо архитектуру приложения пересмотреть.
если рассматривать ws как канал обмена с веб страницей - то страница живёт не слишком долго - время сессии 30 минут - то и нет смысла держать коннект ws дольше чем http сессия. ну а сколько может быть подключений клиентов http к серверу - информация не секретная.
16 мар 20, 21:10    [22100196]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 10009
JDS
Вопрос гор. и вертик. масштабируемости все равно актуален.
65К подключений это немало, но и немного.
Сокет это две пары: src-ip:src-port и dst-ip:dst-port.
Для HTTP и многих других протоколов пара dst-ip:dst-port фиксирована.
Дальше включаем банальную логику и получаем тривиальный вывод: даже когда провайдер спрятал за NAT на одном (единственном) IP-адресе ~16К клиентов, "немного" это "более чем достаточно". Почему 16К? Потому, что есть рекомендации по распределению портов по диапазонам.
В любом случае вам, как владельцу сервиса, должно быть покласть на проблемы клиентов за конкретным провайдером. В данном конкретном случае - совершенно объективно.
17 мар 20, 09:05    [22100340]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
mayton
Member

Откуда: loopback
Сообщений: 45514
вадя

на SO писали что у них висят сессии по 1.5 года. и как бы они не парятся (хотя, скорее всего, это просто отвалившиеся клиенты, и SO не проверяет их пин-понгом). если б это было слишком накладно , то они, наверно, позакрывали б такие сессии .

Надо понять какой смысл они туда вкладывали. Java-объект сессий? Вполне возможно. Он еще и персистится.
Сокет? Не знаю. Мы живем в эпоху сильной виртуализации всего стека. Выше писали что сокет это просто
пара значений хосты и порты. И чтобы эта пара жила 1.5 года - надо чтобы клиент висел 1.5 года (и провадер
не менял ему арендованый IP) либо здесь имеет место хитрая виртуализация (proxy, nat, socks) которая
на надёжном железе просто виртуализирует внешние соединения замещая их своими фейковыми
адресами. И если железо 1.5 года не ремонтировалось и не патчилось и не перегружалось (во что мне
сложно поверить т.к. даже амазон падает и часто) то вполне возможно что мы получим такую
статистику. Хорошо это или плохо - я не знаю. Но мне кажется что к надёжности это имет
мало отношения. Ведь надёжность должна быть до "последней мили" а не на фрагменте
маршрута.

Помните анекдот про то как пули вылетели из ствола? Вот 1.5 года из этой же серии.
17 мар 20, 17:24    [22100806]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17568
mayton
Надо понять какой смысл они туда вкладывали. Java-объект сессий? Вполне возможно.......
для меня этот факт был очень удивителен. они объясняли так,что компы просто не выключались всё это время.....
в итоге я оставил это всё на совести SO. и просто информирую о данном факте.
из своего опыта - ws очень надёжная и очень удобная вещь.
17 мар 20, 17:50    [22100821]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
JDS
Member

Откуда:
Сообщений: 687
Leonid Kudryavtsev
В NIO нет связи соккет=поток. 6-20 потоков (если считать и служебные) вполне могут разгребать тысячи сокетов одновременно (мой код точно 600-800 и более одновременно в продакшене держал, для JVM было выделяно вроде 4 ядра)

Не понимаю как это выглядит внутри программы?
Предполагается, что приложение может обрабатывать все данные в одном потоке или в нескольких, это не суть, главное, что оно складывает потом все данные в общий буфер.
И потом это приложение должно раскидывать всем подключенным клиентам ту часть информации, которая их касается.
То есть каждый коннект (в основном) не генерит на сервере какой-то отдельный вычислительный поток с отдельным запросом.
И забирать информацию из буфера можно тем же http через каждую секунду например, но это кажется накладным, а сокеты видятся хорошим вариантом с точки зрения идеологии, но затык в масштабируемости, который не пойму как обходится и обходится ли.
18 мар 20, 16:49    [22101584]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17568
JDS
Предполагается, что приложение может обрабатывать все данные в одном потоке или в нескольких, это не суть, главное, что оно складывает потом все данные в общий буфер.
И потом это приложение должно раскидывать всем подключенным клиентам ту часть информации, которая их касается.
То есть каждый коннект (в основном) не генерит на сервере какой-то отдельный вычислительный поток с отдельным запросом.
И забирать информацию из буфера можно тем же http через каждую секунду например, но это кажется накладным, а сокеты видятся хорошим вариантом с точки зрения идеологии, но затык в масштабируемости, который не пойму как обходится и обходится ли.
похоже ты совсем не понял что такое ws.
серверная часть состоит из "слушателя порта ws" - т.е. одна точка входа.
 public void OnMessage(String data, Session userSession) {
....
}

в этом методе ты можешь распарсить String data выделить команду и передать управление методу который соответствует этой команде и соответственно передать сами данные , а так же передать Session userSession , как правило клиенту надо ответить (что не обязательно).
а как метод/команда будет работать - это уже твоя воля.
это простой вариант.
более сложный - это когда идет рассылка по нескольким клиентам. но это отдельная тема.

никакого буфера не требуется и никаких таймеров для забора из этого буфера
18 мар 20, 17:14    [22101606]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
JDS
Member

Откуда:
Сообщений: 687
вадя
похоже ты совсем не понял что такое ws.
серверная часть состоит из "слушателя порта ws" - т.е. одна точка входа.
 public void OnMessage(String data, Session userSession) {
....
}

в этом методе ты можешь распарсить String data выделить команду и передать управление методу который соответствует этой команде и соответственно передать сами данные , а так же передать Session userSession , как правило клиенту надо ответить (что не обязательно).
а как метод/команда будет работать - это уже твоя воля.
это простой вариант.
более сложный - это когда идет рассылка по нескольким клиентам. но это отдельная тема.

никакого буфера не требуется и никаких таймеров для забора из этого буфера


Возможно, я неправильно объяснил суть.
Буфер нужен для того, чтобы не лазить каждый раз в БД.
То есть безотностительно с WS работа или по HTTP.
То есть оперативная информация на клиент уходит только из буфера.
И обновление этой информации идет централизованно приложением и может идти в один поток в том числе, то есть не зависит от пользователей.
То есть:
1. идет некий процесс в приложении
2. данные из п.1 фиксируются в БД
3. по этим данным обновляется буфер
4. при обновлении буфера идет рассылка клиентам.
5. если подключается новый клиент, он не идет в БД, а забирает данные из буфера приложения

В целом от этого пока можно абстрагироваться, так как не касается сути вопроса по большому счету.

Что касается работы с WS-ми, да, точка входа одна:
+
package com.test.whiteboardapp;

import java.io.IOException;
import java.util.Collections;
import java.util.HashSet;
import java.util.Set;
import javax.websocket.EncodeException;
import javax.websocket.OnClose;
import javax.websocket.OnMessage;
import javax.websocket.OnOpen;
import javax.websocket.Session;
import javax.websocket.server.ServerEndpoint;

@ServerEndpoint(value="/whiteboardendpoint", encoders = {FigureEncoder.class}, decoders = {FigureDecoder.class})
public class WSEndpoint {    
    private static Set<Session> peers = Collections.synchronizedSet(new HashSet<Session>());
    
    @OnMessage
    public void broadcastFigure(Figure figure, Session session) throws IOException, EncodeException {
        System.out.println("broadcastFigure: " + figure);
        for (Session peer : peers) {
            if (!peer.equals(session)) {
                peer.getBasicRemote().sendObject(figure);
            }
        }
    }

    @OnClose
    public void onClose (Session peer) {
        peers.remove(peer);
    }
    
    @OnOpen
    public void onOpen (Session peer) {
        peers.add(peer);
    }
}

Но как понимаю, здесь это для разработчика использующего javax.websocket она одна, но на входе есть Session - который и отражает собственно коннект по WS, и каждый клиент - это как минимум, один коннект.
Или я не прав? )

Сообщение было отредактировано: 18 мар 20, 17:52
18 мар 20, 17:49    [22101646]     Ответить | Цитировать Сообщить модератору
 Re: Раздушить по количеству WebSocket подключений  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17568
JDS
Буфер нужен для того, чтобы не лазить каждый раз в БД.
это что за боязнь?
JDS
То есть безотностительно с WS работа или по HTTP.
тогда про буфер вообще не следовало упоминать, это дело твоей конкретно логики работы кода.
JDS
Но как понимаю, здесь это для разработчика использующего javax.websocket она одна, но на входе есть Session - который и отражает собственно коннект по WS, и каждый клиент - это как минимум, один коннект.
Или я не прав? )
прав.
вот только это
@OnMessage
    public void broadcastFigure(Figure figure, Session session) throws IOException, EncodeException {
        System.out.println("broadcastFigure: " + figure);
        for (Session peer : peers) {
            if (!peer.equals(session)) {
                peer.getBasicRemote().sendObject(figure);
            }
        }
    }

введёт в ступор тех кто будет разбираться в коде после тебя. я бы рекомендовал типа такого

@OnMessage
    public void OnMessage(Figure figure, Session userSession) {
SendMessage();
        }

public void SendMessage() {
       for (Session peer : peers) {
            if (!peer.equals(session)) {
                peer.getBasicRemote().sendObject(figure);
            }
        }
    }


счас у тебя получается Что сообщение от каждого рассылается каждому

и Figure figure что это?
ws понимает строковые и бинарные данные (по умолчанию) или ты используешь какой-то подпротокол?

Сообщение было отредактировано: 18 мар 20, 18:21
18 мар 20, 18:17    [22101672]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Java Ответить