Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Unix-системы Новый топик    Ответить
 Организация системы для загрузки содержимого веб сайтов  [new]
dab2
Member

Откуда: Воронеж
Сообщений: 666
Привет всем! Подскажите путь джедаю:
Условие задачи: "Организовать систему для загрузки содержимого веб сайтов. На входе списки урлов, на выходе - их содержимое. Система должна быть распределенной, масштабируемой. Для заданного списка доменов необходимо организовать ограничение по количеству загрузок в секунду чтобы избежать блокировок нашего сервиса с их стороны."
Прошу написать, как Вы будете решать эту задачу. Нам не требуется само решение. Нас интересует путь решения с подробностями, если такое возможно. Платформа - любой Линукс сервер.
============================================================================================================
"О, сколько нам открытий чудных готовит просвещения дух, и опыт - сын ошибок трудных, и гений - парадоксов друг, и случай - бог изобретатель" (Пушкин, однако).
27 июн 19, 18:50    [21916535]     Ответить | Цитировать Сообщить модератору
 Re: Организация системы для загрузки содержимого веб сайтов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48163

apt-get install curl
далее скрипт-однострочник.

Posted via ActualForum NNTP Server 1.5

27 июн 19, 19:08    [21916561]     Ответить | Цитировать Сообщить модератору
 Re: Организация системы для загрузки содержимого веб сайтов  [new]
dab2
Member

Откуда: Воронеж
Сообщений: 666
Dimitry Sibiryakov,

А что-нибудь можете сказать про parser.ru студии Лебедева?
27 июн 19, 19:21    [21916575]     Ответить | Цитировать Сообщить модератору
 Re: Организация системы для загрузки содержимого веб сайтов  [new]
dab2
Member

Откуда: Воронеж
Сообщений: 666
А как сделать систему распределённой и масштабируемой, если пользоваться curl?
27 июн 19, 19:47    [21916591]     Ответить | Цитировать Сообщить модератору
 Re: Организация системы для загрузки содержимого веб сайтов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48163

Делением и распределением кусков файла с заданиями.

Posted via ActualForum NNTP Server 1.5

27 июн 19, 20:11    [21916604]     Ответить | Цитировать Сообщить модератору
 Re: Организация системы для загрузки содержимого веб сайтов  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48163

man split

Posted via ActualForum NNTP Server 1.5

27 июн 19, 20:13    [21916606]     Ответить | Цитировать Сообщить модератору
 Re: Организация системы для загрузки содержимого веб сайтов  [new]
bga83
Member

Откуда: Город герой Ленинград
Сообщений: 30700
Dimitry Sibiryakov
Делением и распределением кусков файла с заданиями.
а дя этих целей можно MapReduce на хадупе заюзать Картинка с другого сайта.
27 июн 19, 20:26    [21916614]     Ответить | Цитировать Сообщить модератору
 Re: Организация системы для загрузки содержимого веб сайтов  [new]
dab2
Member

Откуда: Воронеж
Сообщений: 666
bga83,

А если средствами системы по максимальной возможности, то как лучше это организовать?
27 июн 19, 20:30    [21916617]     Ответить | Цитировать Сообщить модератору
 Re: Организация системы для загрузки содержимого веб сайтов  [new]
Мутаген
Member

Откуда:
Сообщений: 691
http://engineering.nyu.edu/~suel/papers/crawl.pdf
28 июн 19, 11:11    [21916861]     Ответить | Цитировать Сообщить модератору
Все форумы / Unix-системы Ответить