Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Delphi Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 Парсер web. Начало  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 310
Добрый день.

Друзья, никогда не работал с вебом из-под Delphi. Подскажите с чего начать изучение (желательно на русском мануалы).
Задача стоит зайти на определенный сайт, залогиниться на нем и считать какую либо информацию. Что можете посоветовать для изучения. От обилия информации рябит в глазах, но понимаю что читаю не то...
5 дек 17, 15:56    [21007873]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 310
Добавлю, среда Embarcadero XE5
5 дек 17, 15:57    [21007882]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
чччД
Guest
Леонов Юрий
Добрый день.

Друзья, никогда не работал с вебом из-под Delphi. Подскажите с чего начать изучение (желательно на русском мануалы).
Задача стоит зайти на определенный сайт, залогиниться на нем и считать какую либо информацию. Что можете посоветовать для изучения. От обилия информации рябит в глазах, но понимаю что читаю не то...


Рекомендую начать с изучения библиотеки CachedBuffers.
Затем изучить экстремально быстрый менеджер памяти BrainMM.
Потом сам поймешь, куда двигаться.
5 дек 17, 16:02    [21007907]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
YuRock
Member

Откуда: Донецк
Сообщений: 2468
Леонов Юрий
Задача стоит зайти на определенный сайт, залогиниться на нем и считать какую либо информацию.

Загрузи этот сайт (WinInet, WinHttp, Indy, ... на выбор) и дальше разбирайся в том, что загрузил. Или если что-то более высокоуровнеое надо - чтобы по HTML-формочкам бегать - тогда не посоветую.
5 дек 17, 16:18    [21007982]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Kazantsev Alexey
Member

Откуда:
Сообщений: 2676
чччД,

Злой ты
5 дек 17, 16:20    [21007995]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
BlackEric
Member

Откуда:
Сообщений: 699
Первые же ссылки из гугла по запросу "Delphi login to website and get information"

Или нсть хорошее видео, но для C#: [url=][C#] Interact with a webpage: How to login to a website[/url]
5 дек 17, 16:22    [21008012]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Vladimir Baskakov
Member

Откуда:
Сообщений: 1708
я бы из делфей запускал вот это консольное
http://phantomjs.org/

о нем
https://habrahabr.ru/post/116789/

и забирал бы уже из него.
5 дек 17, 17:27    [21008292]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 310
чччД
Рекомендую начать с изучения библиотеки CachedBuffers.
Затем изучить экстремально быстрый менеджер памяти BrainMM.
Потом сам поймешь, куда двигаться.


Я так понял ты и есть создатель CachedBuffers? Почитал, поржал...
Двигаться буду наверное в другую сторону...
5 дек 17, 17:32    [21008311]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
чччД
Guest
Леонов Юрий
чччД
Рекомендую начать с изучения библиотеки CachedBuffers.
Затем изучить экстремально быстрый менеджер памяти BrainMM.
Потом сам поймешь, куда двигаться.


Я так понял ты и есть создатель CachedBuffers? Почитал, поржал...
Двигаться буду наверное в другую сторону...

Хочешь идти длинным путем? Ну-ну.
5 дек 17, 17:36    [21008321]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 310
Vladimir Baskakov,

немного не понял причем тут явовский код?
мне нужны статьи или примеры для новичка, чтобы понять саму кухню
5 дек 17, 17:37    [21008322]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 43932

Леонов Юрий
мне нужны статьи или примеры для новичка, чтобы понять саму кухню

Примеры в штатной поставке Дельфи тебя не устроили чем?

Posted via ActualForum NNTP Server 1.5

5 дек 17, 17:48    [21008352]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Vladimir Baskakov
Member

Откуда:
Сообщений: 1708
Леонов Юрий

При том, что сайты сейчас динамические, формируются отчасти на лету, в браузере, динамически чегой-то подгружая.

И чтобы с этим как то жить, придумали браузер без окошка, с которым разговаривают, передавая команды на javascript . Мало просто загрузить сайт, не(всегда)достаточно. Почти всегда недостаточно.

И готового делфи кода, который нормально все это проделает - нет. Но есть сторонняя консольная софтина. Работать с ней в конечном итоге скорее всего будет проще, если сайт мал-мало сложный и насыщенный.
5 дек 17, 17:49    [21008356]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 310
Vladimir Baskakov,

Я понял мысль. Спасибо, буду смотреть эту тему
5 дек 17, 17:53    [21008373]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Vladimir Baskakov
Member

Откуда:
Сообщений: 1708
Еще можно поговорить с интернет-эксплорером. вежливо, через его Com - интерфейс

+


OLE с Internet Explorer


uses comobj;


 procedure OpenIE(aURL: string);
 var
   IE:        Variant;
   WinHanlde: HWnd;
 begin
   if (VarIsEmpty(IE)) then
   begin
     IE         := CreateOleObject('InternetExplorer.Application');
     IE.Visible := True;
     IE.Navigate(aURL);
   end
   else
   begin
     WinHanlde := FindWindow('IEFrame', nil);
     if (0 <> WinHanlde) then
     begin
       IE.Navigate(aURL);
       SetForegroundWindow(WinHanlde);
     end
     else
       ShowMessage('Can''t open IE !');
   end;
 end;


 procedure TForm1.Button1Click(Sender: TObject);
 begin
   OpenIE('http://www.swissdelphicenter.ch');
 end;

5 дек 17, 17:56    [21008385]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 310
Dimitry Sibiryakov,

у меня для XE5 примеры отсутствуют
5 дек 17, 17:57    [21008392]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 310
чччД,

а нафига мне эти читалки? Примером можешь обосновать?
5 дек 17, 17:59    [21008401]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 310
Vladimir Baskakov,

мне желательно все делать в фоне, без визуального посещения сайта
5 дек 17, 18:00    [21008404]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
чччД
Guest
Леонов Юрий
чччД,

а нафига мне эти читалки? Примером можешь обосновать?

Быстрые очень.
5 дек 17, 18:03    [21008413]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
rgreat
Member

Откуда:
Сообщений: 3741
Леонов Юрий
Vladimir Baskakov,

мне желательно все делать в фоне, без визуального посещения сайта
Сделай TWebBrowser невидимым.
5 дек 17, 18:04    [21008415]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
rgreat
Member

Откуда:
Сообщений: 3741
Если хочешь ручками - засниффери траффик с сайта во время работы через браузер.

Однако если там HTTPS то просто не отделаешься.
5 дек 17, 18:05    [21008417]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 310
чччД
Леонов Юрий
чччД,

а нафига мне эти читалки? Примером можешь обосновать?

Быстрые очень.


Шикарное обоснование... Я ж не про ипподром спрашивал?
Приведи пример использования этой библиотеки для поставленной задачи
5 дек 17, 18:25    [21008470]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
rgreat
Member

Откуда:
Сообщений: 3741
Да забей. У него сегодня особо-троллячье настроение.
5 дек 17, 18:26    [21008475]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Док
Member

Откуда: Казань
Сообщений: 5225
Kazantsev Alexey
чччД,

Злой ты

Это детишкиу папы стащили ник и балуются тут вовсю
5 дек 17, 18:40    [21008517]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
fd00ch
Member

Откуда: Нижний Новгород
Сообщений: 5864
чччД
Рекомендую начать с изучения библиотеки CachedBuffers.
Затем изучить экстремально быстрый менеджер памяти BrainMM.
Потом сам поймешь, куда двигаться.
дальше, в принципе, уже некуда ¯\_(ツ)_/¯
5 дек 17, 21:04    [21008755]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
чччД
Guest
Я бог, а вы холопы.
5 дек 17, 21:57    [21008857]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
defecator
Member

Откуда:
Сообщений: 35435
чччД
Я бог, а вы холопы.
не холопы, а рабы. божьи !
5 дек 17, 22:01    [21008879]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
rgreat
Member

Откуда:
Сообщений: 3741
Рыбы бажьи.
5 дек 17, 22:06    [21008895]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
чччД
Guest
чччД
Я бог, а вы холопы.

Кто-то пытается подмочить безупречность моей репутации. Методом анонимного клонирования.
5 дек 17, 22:49    [21009096]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
defecator
Member

Откуда:
Сообщений: 35435
чччД
чччД
Я бог, а вы холопы.

Кто-то пытается подмочить безупречность моей репутации. Методом анонимного клонирования.

кто-то перекрыл виртуальный метод
6 дек 17, 06:56    [21009516]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
vavan
Member

Откуда: Казань
Сообщений: 2908
чччД
Кто-то пытается подмочить безупречность моей репутации. Методом анонимного клонирования
так про brainwashed буфферз не ты отмочил?
6 дек 17, 09:01    [21009606]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Док
Member

Откуда: Казань
Сообщений: 5225
чччД
Кто-то пытается подмочить безупречность моей репутации. Методом анонимного клонирования.

потому и существует презерватив авторизация
6 дек 17, 09:03    [21009607]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Vladimir Baskakov
Member

Откуда:
Сообщений: 1708
Леонов Юрий
Vladimir Baskakov,

мне желательно все делать в фоне, без визуального посещения сайта


А эксплорер может и не показывать свое лицо. Но памяти отожрет столько же и будет виден в списке процессов.

Опять же, как оно будет работать если пользователь откроет его сам, как видимый будет дружить или воевать с фоновым - это вопрос, потому я и начал с идеи фантома.
но вообще конечно надо смотреть, на некоторых сайтах динамики нет, и можно просто скачивать. но что есть - куки например? Смотря что по конкретике надо. опять же - должно ли работать с прокси, или и так сойдет? вопросов немного больше одного.
просто для ознакомления, еще один матерьяльчик. для подумать.
https://habrahabr.ru/post/253439/

Не факт, что делфи - самая удобная среда для решения этой задачи, по большому счету; но возможно терпимая.
ну или гибрид - на делфи - интерфейс, а исполняющую среду - на приделанном раби
https://www.ruby-forum.com/topic/174150

в принципе компонент twebbrowser дает доступ к интерфейсу эксплорера. который естественно умеет и джаваскрипт с аджаксом, и куки....
Но тут проблема. Какой у юзера поставлен эксплорер и как там начеканы галочки. Так что, вроде компонент, вроде бы пользоваться можно, но есть особенности.....

То есть, все равно ожидается велосипедик на квадратных колесиках. И как его сделать прямо - неочевидно, нужны доп вводные.

Приятного кодинга)))
6 дек 17, 10:27    [21009840]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Василий №2
Guest
Для начала простой вариант - поснифать http трафик из браузера, вычленить запросы, потом выполнить их через Indy.
Но эра простых веб запросов на ресурсы, для того не предназначенные, практически ушла. Скрипты, фреймы, куки, ssl - попытавшись все это реализовать, можно потратить годы и сделать целый браузер. Так что если простой способ не прошел, надо просто оседлать уже готовый движок браузера. Это м.б. фантом, или ИЕ, или Хром - не суть.
6 дек 17, 10:48    [21009926]     Ответить | Цитировать Сообщить модератору
 Re: Парсер web. Начало  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 310
Vladimir Baskakov,

Спасибо большое, буду разбираться
6 дек 17, 11:43    [21010264]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2      [все]
Все форумы / Delphi Ответить