Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Программирование Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
log_here
Member [заблокирован]

Откуда:
Сообщений: 331
Например, бой Макгрегор-Мейвезер или онлайн-выход новой серии игры престолов. К нему подключаются десятки миллионов пользователей и смотрят.
YouTube выделяет специально под это дело сервера или всё происходит в автоматическом режиме?
С обновлённой подпиской на инстаграм Дженнифер Лопес ещё более-менее понятно, там режим дискретный, пользователь щёлкает раз в 5 секунд, с непрерывным вещанием всё не так очевидно.
Верно ли, что на таких серверах стоят тысячи мощнейших сетевых карт или достаточно серверной сетевой карте передать информацию 10 другим, те передадут ещё 10 и т.д.?

Опыта написания клиент-серверных приложений нет, поэтому мои вопросы могут показаться не совсем корректными.
8 авг 17, 02:10    [20706982]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
AndreTM
Member

Откуда: Где-то в вологодских лесах...
Сообщений: 6905
А зачем что-то "мощнейше" выделять или пере-передавать?
Достаточно писать стрим в буфер(ы), и организовать доступ так, чтобы плеер умел, а сервер давал доступ к соответствующему буферу.

Например, нам надо сделать стрим длиной 1 час (3600 секунд), и чтобы пользователи могли смотреть его с любой секунды. Пишем стрим в 3600 параллельных буферов (первый - начинается с первой секунды, следующий - со 2-й, далее - с 3-й, 4-й...). На пользовательский запрос - отдаем клиентскому плееру ссылку на соответствующий "таймкоду" буфер. Как вы понимаете, любое переключение в плеере - переключит плеер на другой буфер, который просто пойдет "с начала соответствующего буфера".
8 авг 17, 08:28    [20707092]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
wadman
Member

Откуда: Санкт-Петербург
Сообщений: 25220
log_here
YouTube выделяет специально под это дело сервера или всё происходит в автоматическом режиме?

Давненько читал об организации ютуба. Вкратце у ютуба много серверов разбросано по миру, которые соединены между собой супер-скоростными надежными каналами, пользователям дается адрес "ближайшего" сервера.
8 авг 17, 09:53    [20707271]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
Anatoly Moskovsky
Member

Откуда: Odessa
Сообщений: 6347
log_here,

Гуглите по слову CDN (content delivery network)
8 авг 17, 11:41    [20707735]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
mayton
Member

Откуда: loopback
Сообщений: 39933
А цифровое ТВ? Неужели автору не интересно как оно работает внутренних?
8 авг 17, 13:33    [20708296]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
Dima T
Member

Откуда:
Сообщений: 13568
mayton
А цифровое ТВ? Неужели автору не интересно как оно работает внутренних?

Это немного другое, там multicast используется, еще как понимаю там некоторая заточка на уровне железа со стороны клиента нужна.
И провайдеры IP TV гоняют их только по своим сетям, т.е. не посмотреть IP TV одного провайдера, из сети другого.
8 авг 17, 13:49    [20708362]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 47292
AndreTM
На пользовательский запрос - отдаем клиентскому плееру ссылку на соответствующий "таймкоду" буфер. Как вы понимаете, любое переключение в плеере - переключит плеер на другой буфер, который просто пойдет "с начала соответствующего буфера".

Как вы понимаете, размер буфера, умноженный на количество одновременных подключений превзойдёт все мыслимые и немыслимые пределы пропускной способности интернет-канала.
8 авг 17, 13:51    [20708369]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
Dima T
Member

Откуда:
Сообщений: 13568
Dimitry Sibiryakov
AndreTM
На пользовательский запрос - отдаем клиентскому плееру ссылку на соответствующий "таймкоду" буфер. Как вы понимаете, любое переключение в плеере - переключит плеер на другой буфер, который просто пойдет "с начала соответствующего буфера".

Как вы понимаете, размер буфера, умноженный на количество одновременных подключений превзойдёт все мыслимые и немыслимые пределы пропускной способности интернет-канала.

Я так понимаю речь не об интернет-каналах, а о чтении с диска. Т.е. при миллионе смотрящих на серверной стороне не миллион читателей (по одному на каждого клиента), а группировка клиентов с выравниванием кратно 1 сек. и на каждую секунду по одному читателю. Например при просмотре 5 минутного ролика максимум 300 читателей, т.е. при просмотре миллионом пользователей экономия заметная будет.
8 авг 17, 14:15    [20708455]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
mayton
Member

Откуда: loopback
Сообщений: 39933
Я думаю что здесь действительно ключевое слово мультикаст.
8 авг 17, 20:03    [20709386]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
Изопропил
Member

Откуда:
Сообщений: 31031
mayton
Я думаю что здесь действительно ключевое слово мультикаст.

igmp так свободно по маршрутизаторам и коммутаторам бегает?
8 авг 17, 20:20    [20709408]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 9080
Изопропил
igmp так свободно по маршрутизаторам и коммутаторам бегает?
Нет, конечно, но в Сервер онлайн-вещаний на базе nginx рассказано, что nginx-rtmp позволяет утилизировать 10G интерфейс. Примерно 10К зрителей на сервер. Основная проблема - настройка сетевой подсистемы ОС.
8 авг 17, 20:45    [20709446]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
AndreTM
Member

Откуда: Где-то в вологодских лесах...
Сообщений: 6905
Dimitry Sibiryakov
Как вы понимаете, размер буфера, умноженный на количество одновременных подключений превзойдёт...
Ну, допустим, на количество коннектов умножать надо не "размер буфера", а "щирину запрошенного канала клиента".
Но, конечно, далее надо производить балансировку отдачи контента по нескольким интерфейсам. Но тут ведь тонкость в чём: если "промежуточные" узлы работают с кешированием медиа-контента - то клиентам будут отдаваться буфера, закешированные уже где-то в цепочке ретранслирующих устройств, а не прямо с источника. То есть да, надо иметь что-то вроде "броадкаст-сети", но это никак не "тысячи мощнейших сеетвых интерфейсов", тут на это дело работает уже сама инфраструктура сети и стандартные средства (как упоминалось, тот же nginx).
8 авг 17, 22:36    [20709579]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
mayton
Member

Откуда: loopback
Сообщений: 39933
Изопропил
mayton
Я думаю что здесь действительно ключевое слово мультикаст.

igmp так свободно по маршрутизаторам и коммутаторам бегает?

(разводя руками)

Я не против. Но если мы возьмем к примеру такие сервисы как Netflix, Twiggle e.t.c. Это не только потоковое
вещание но и storages. И полный контроль над временем воспроизведения.

К примеру автор смотрит бой Макгрегор-Мейвезер. А я пришел домой на 30 минут позже. И тоже смотрю
этот-же бой. Но сначала. Я думаю, коллега что это не просто igmp. А это стек более сложный. Здесь и content delivery.
И шардинги и репликации и географическая децентрализация. И балансеры.
8 авг 17, 23:00    [20709610]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
Изопропил
Member

Откуда:
Сообщений: 31031
mayton
Я думаю, коллега что это не просто igmp. А это стек более сложный. Здесь и content delivery.
И шардинги и репликации и географическая децентрализация. И балансеры.

Оккам возражать будет
8 авг 17, 23:03    [20709613]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
log_here
Member [заблокирован]

Откуда:
Сообщений: 331
бой Макгрегор-Мейвезер

пишут, что бойцам пришлось начать свой бой на несколько минут позже, поскольку возникли затруднения из-за того, что появилось сильно много желающих посмотреть прямую трансляцию. Неужели для боя, вокруг которого вертелось несколько сотен миллионнов долларов, не нашлось нескольких дополнительных серверов?
27 авг 17, 22:10    [20752429]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
mayton
Member

Откуда: loopback
Сообщений: 39933
Забыли как в старые добрые времена аналогового ТВ. Включили PAL/Secan/NTSC передатчик.
Спутник поймал. Усилил. Передал на всю планету. И весь мир увидел. Без лагов (радиоволны
мать вашу) без потерь TCP пакетов, без ошибок кодека. Без прокси. Без файрволов. Без
рекламы.

Ну и хрен-ли с тем что "снежит" или цвет отпадает. Главное смотрим. И без купюр.
27 авг 17, 22:25    [20752443]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
defragmentator
Member

Откуда:
Сообщений: 20391
Ну, у крупных провайдеров, как я читал, сервера специально Гугл арендует.
Они используются просто как кэш.
Про идею с особо мощными серверами - не слышал.
Вроде там всё обычное стоит.
28 авг 17, 06:50    [20752620]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
982183
Member

Откуда: VL
Сообщений: 2744
mayton
Забыли как в старые добрые времена аналогового ТВ. .

В имеющиеся времена эфирного цифрового ТВ то по другому?
Только вместо "снега" "квадратики"
28 авг 17, 07:49    [20752653]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 47292
mayton
Главное смотрим.

Если не забыли заранее приобрести телевизор, спутниковую тарелку, соответствующий тюнер и нацелили это всё на нужный спутник. Иначе - смотрим ковёр.
28 авг 17, 13:59    [20753631]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
mayton
Member

Откуда: loopback
Сообщений: 39933
Какая тарелка? В советском союзе все каналы принимались на комнатную антенну.
28 авг 17, 19:36    [20754665]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
Dima T
Member

Откуда:
Сообщений: 13568
mayton
В советском союзе все каналы принимались на комнатную антенну.

Тогда все два принимались, если уж точно. А так и сейчас принимаются в цифре штук 40 без тарелки, как воткнул 25 лет назад в саду антенну на крышу, так она и ловит, приставку только надо.
28 авг 17, 20:08    [20754724]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
ShSerge
Member

Откуда: ʚонɔ dиw
Сообщений: 24850
Там используется UDP. а не TCP.
Не знаю, как в интернете, а в локальной подсети - мультикаст - самое то. Передаётся на виртуальный айпи, а все, кто подписался - читают. Никаких супер-пупер навороченных компьтеров не нужно. Сойдёт даже плохонький планшет, или даже телефон.
28 авг 17, 21:29    [20754860]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 47292
mayton
Какая тарелка? В советском союзе все каналы принимались на комнатную антенну.

Да. Но не со спутника, а с наземных ретрансляторов. Антенны же не торчали вверх, а были нацелены на ближайшую телевышку. И никакой возможности "смотреть с любой секунды". Ты либо поймал текущий широковещательный волновой пакет, либо он пролетел мимо.
29 авг 17, 14:04    [20756170]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
mayton
Member

Откуда: loopback
Сообщений: 39933
Это и есть настоящее эфирное телевидение. Эфирнее некуда.

Никакая цифровая система не доносит инфу быстрее чем сеть
обыкновенных аналоговых ретрансляторов.

Все цифровые системы вносят лаг определящийся технологией.

У аналоговых лаг - это есть скорость распространения
электромагнитного излучения. Тоесть быстрее.
29 авг 17, 21:13    [20757232]     Ответить | Цитировать Сообщить модератору
 Re: Как проходит интернет-трансляция, к которой подключаются миллионы пользователей?  [new]
AndreTM
Member

Откуда: Где-то в вологодских лесах...
Сообщений: 6905
А кстати, по терверу: "чем дальше ты в цепочке кеширующих ретрансляторов - тем больше вероятность, что ты получаешь более качественный доступ". То есть вполне вероятно, что монгол-сусликовод смотрел бой Макгрегор-Мейвезер с бОльшим комфортом (пусть и с полуминутной задержкой), недели рядовой житель LA

Конечно, тут ещё надо смотреть на "нагруженность узлов", но суть от этого не меняется.
30 авг 17, 03:46    [20757528]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Программирование Ответить