Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Разработка информационных систем Новый топик    Ответить
 Кеширование внешних ссылок/ресурсов  [new]
Alibek B.
Member

Откуда:
Сообщений: 3934
Допустим есть какая-то платформа для общения.
В этой платформе пользователи публикуют свои сообщения, в том числе в сообщении можно указать внешнюю ссылку.
Для удобства пользователей у платформы будет настройка "Отображать контент по внешней ссылке", при включении этой настройки платформа будет пытаться отобразить содержимое (доступное по внешней ссылке) непосредственно в теле публикации.
Другие пользователи могут как-то реагировать на эту публикацию.
Вопрос по содержимому, которое размещено по внешней ссылке. Точнее по тому, как "отображение контента" должна обрабатывать платформа.

Самое простое — ничего особенного не делать, определять mime-тип, изображения/видео встраивать в страницу, текст размещать как цитату.
Минусы:
- внешние сервисы могут блокировать отдачу контента (по referer или другим признакам);
- утечка пользовательского трафика;
- контент может быть изменен/подменен;
- контент может быть контекстным (зависеть от IP-адреса, локации или других атрибутов посетителя);
(в принципе все минусы сводятся к тому, что у платформы нет контроля над контентом)

Другая крайность — при публикации создавать локальную копию контента и в дальнейшем всегда использовать локальный контент. Но тут другие минусы:
- внешние сервисы могут блокировать или искажать отдачу контента для серверов платформы;
- проблемы с авторскими правами;
- требуется много дискового пространства для хранения копий (хотя можно затирать копии старше определенного возраста);
- неприменимо к поточному контенту;

Возможен и некий компромисс. Автор делает публикацию со ссылкой, платформа делает локальную копию контента и на всякий случай сравнивает с хешем, полученным от автора (на случай, если внешний сервис платформе и автору отдает разный контент). Если локальная копия перестала быть валидной (не совпали кеши, истек срок хранения или другие причины), то используется первый вариант со встраиванием внешней ссылки.
Но лично я рассматриваю этот компромисс, как объединение минусов обоих вариантов.

Не подскажите, какие подходы практикуют в подобных случаях? Может быть я что-то упускаю?
13 мар 21, 11:39    [22293905]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
hVostt
Member

Откуда:
Сообщений: 19317
Alibek B.,

А есть ли у вас право что-то с внешнего ресурса себе копировать и отображать как своё?
Предлагаю сначала с этим разобраться, ибо ваш ресурс могут прикрыть со всеми потрохами и впаять что-то не сильно приятное.
13 мар 21, 23:47    [22294159]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
Alibek B.
Member

Откуда:
Сообщений: 3934
Я это и указал под пунктом "проблемы с авторскими правами". Не думаю, что они неразрешимы, так как в природе существуют поисковики и кеширующие прокси, но хотелось бы узнать, какие ещё варианты существуют.

(и про "отображать как свое" речи не было)

Сообщение было отредактировано: 14 мар 21, 00:16
14 мар 21, 00:23    [22294171]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
Злой Бобр
Member

Откуда: Украина, Кривой Рог
Сообщений: 3594
Alibek B.,

Может проще сразу сказать за что боретесь? А то тянуть кота за ... можно долго и нудно. И не нужно волноваться - никто вашу супер пупер идею не украдет. Скорей всего ею уже давно пользуются, но вы не в курсе.
Колитесь уже - чего в итоге нужно?
14 мар 21, 18:31    [22294326]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
hVostt
Member

Откуда:
Сообщений: 19317
Alibek B.
Я это и указал под пунктом "проблемы с авторскими правами". Не думаю, что они неразрешимы, так как в природе существуют поисковики и кеширующие прокси, но хотелось бы узнать, какие ещё варианты существуют.

(и про "отображать как свое" речи не было)


Поисковики не отображают целевой контент, только ссылку на него.
Поисковики игнорируют контент, который указан как игнорируемый в поиске.

Не сравнивайте задачу отображения контента одного ресурса на другом ресурсе с поисковиками или прокси. Это глупая подмена понятий, натягивания слона на уши.

Правильно, это отображать контент, разрешённый его владельцем к внедрению указанными способами. Например, внедрение скрипта, отображающего ролик ютуба. И эти варианты обычно запрещают кеширование вашим ресурсом.

Сообщение было отредактировано: 14 мар 21, 23:43
14 мар 21, 23:49    [22294423]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
WebSharper
Member

Откуда:
Сообщений: 572
Злой Бобр

Колитесь уже - чего в итоге нужно?


Link preview как уже реализованно в мессенджерах?
15 мар 21, 10:22    [22294509]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
Alibek B.
Member

Откуда:
Сообщений: 3934
Злой Бобр
Может проще сразу сказать за что боретесь?

Никакого секрета нет, все описано в первом сообщении.
Что-то вроде локальной блогоплатформы.
Авторы постят сообщения (ссылка и описание). Пользователи, подписанные на автора или тематику, видят в своей ленте эти сообщения. Задачи выдать контент за свой не стоит (в ленте будет фигурировать исходная ссылка), вопрос в том, есть ли целесообразность локально кешировать контент, и если да, то каким именно образом.
Популяризация сервиса не требуется, это вспомогательный инструмент для удобства группы пользователей.

hVostt
Поисковики не отображают целевой контент, только ссылку на него.

А еще у них есть превью и сохраненная копия. Причем сохраненная копия есть в любом случае (даже если не отображается пользователю), потому что по ней и индексируется контент.

hVostt
Это глупая подмена понятий, натягивания слона на уши.

Только когда нечего возразить.
Технически это копирование и хранение байтов.

Сообщение было отредактировано: 15 мар 21, 11:54
15 мар 21, 12:00    [22294603]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
mad_nazgul
Member

Откуда:
Сообщений: 5687
Alibek B.

Не подскажите, какие подходы практикуют в подобных случаях? Может быть я что-то упускаю?


archive.org?!
<:o)
15 мар 21, 13:28    [22294686]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
hVostt
Member

Откуда:
Сообщений: 19317
Alibek B.,

Link preview, сказали уже выше.

Просто посмотрите, как это сделано у других. Мало что-ли блогов, микроблогов, чатиков и прочей фигни? :)

Alibek B.
hVostt
Это глупая подмена понятий, натягивания слона на уши.

Только когда нечего возразить.
Технически это копирование и хранение байтов.


Ну вы же не поисковик делаете.
15 мар 21, 14:46    [22294774]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
Злой Бобр
Member

Откуда: Украина, Кривой Рог
Сообщений: 3594
Alibek B.
... вопрос в том, есть ли целесообразность локально кешировать контент, и если да, то каким именно образом.

Все зависит от контента. Есть контент который нужен в работе, а есть просто развлекательный. В первом случае кеш необходим. Во втором что он есть что нету - особой роли не играет. Т.е. исходите из практической необходимости. Во времена диалап интернета кеш был распространен. При сегодняшних каналах практически никто кеш не держит, кроме специализированных сервисов.
15 мар 21, 18:30    [22294992]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
Alibek B.
Member

Откуда:
Сообщений: 3934
hVostt
Ну вы же не поисковик делаете.

А кто у нас аккредитацию на разработку поисковиков выдает? ГлавРазрабПоиск?
Или у нас в законодательстве об авторском праве есть использование и определения слова "поисковик"?

Злой Бобр
Во времена диалап интернета кеш был распространен. При сегодняшних каналах практически никто кеш не держит, кроме специализированных сервисов.

Экономия трафика это не единственная причина.
Сейчас действительно нет особого смысла кешировать контент из этих соображений (причем не свой).
О локальной копии я думаю скорее из соображений того, чтобы в ленте пользователи увидели именно тот контент, который размещал автор (а если давать ссылку или встраивать контент с внешнего ресурса, он может быть подменен или заблокирован).
16 мар 21, 08:53    [22295183]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
Злой Бобр
Member

Откуда: Украина, Кривой Рог
Сообщений: 3594
Alibek B.

О локальной копии я думаю скорее из соображений того, чтобы в ленте пользователи увидели именно тот контент, который размещал автор (а если давать ссылку или встраивать контент с внешнего ресурса, он может быть подменен или заблокирован).

Ну если вас не волнуют авторские права - дерзайте.
16 мар 21, 10:00    [22295215]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
hVostt
Member

Откуда:
Сообщений: 19317
Alibek B.
hVostt
Ну вы же не поисковик делаете.

А кто у нас аккредитацию на разработку поисковиков выдает? ГлавРазрабПоиск?
Или у нас в законодательстве об авторском праве есть использование и определения слова "поисковик"?


Вы задачу-то какую решаете? Поисковик делаете? Нет.

Alibek B.
Экономия трафика это не единственная причина.


В чём экономия трафика состоит? Для клиента по большему счёту не важно, откуда он контент загружает, от вас или от стороннего ресурса. Если вы будете что-то там кешировать, вы только увеличите свой трафик.

Вообще непонятны, ни цели, ни задачи, ни чего хотите добиться и зачем.
А ещё при этом заходите на вопросы юридического характера.

Я боюсь, в суде вам на аргумент "а вот у гугла..." вам рассмеются в лицо на иск о воровстве контента.
16 мар 21, 12:52    [22295318]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
Alibek B.
Member

Откуда:
Сообщений: 3934
Предлагаю про авторские права пока забыть.
Это само по себе болото, где в выигрыше только юристы.
И я вроде бы прямым текстом написал, что экономия трафика не имеет значения. Смысл кеширования (создания локальной копии контента) только в том, чтобы пользователи видели именно тот контент, который видел автор при публикации ссылки.
16 мар 21, 13:14    [22295337]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53394
Все известные мне сервисы используют подход "ничего не делать".
16 мар 21, 14:44    [22295436]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
Злой Бобр
Member

Откуда: Украина, Кривой Рог
Сообщений: 3594
Alibek B.,

Публикуйте скриншот информации со ссылкой на первоисточник. Это как вариант.
А так я вообще не вижу необходимости что-то делать, т.к. во многих "локальных" системах запрещаются ссылки на внешние ресурсы. Иначе это уже совсем не локальная система.
16 мар 21, 18:20    [22295709]     Ответить | Цитировать Сообщить модератору
 Re: Кеширование внешних ссылок/ресурсов  [new]
hVostt
Member

Откуда:
Сообщений: 19317
Alibek B.,

Все эти вопросы к вам по большему счёту из-за колоссальных трудозатрат для выполнения задачи хотя бы на уровне совкового колхоза.

Как говорится "такого даже в майбахе нет!" :)
Нафига козе баян?
18 мар 21, 01:08    [22296558]     Ответить | Цитировать Сообщить модератору
Все форумы / Разработка информационных систем Ответить