Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / WinForms, .Net Framework Новый топик    Ответить
 webBrowser и сайт построенный на скриптах  [new]
Mixon
Member

Откуда:
Сообщений: 311
Добрый день!
Пытаюсь разобраться как работать с сайтами по средствам C#(получить контент), столкнулся вот с какой проблемой, сайт который мне интересен для обучения генерит разметку на клиенте по средствам JavaScript, то есть в хроме скрипт собирает разметку и я вижу что мне необходимо, а под webBrowser только скрипты.

Подскажите как с этим можно разобраться?

Заранее спасибо!
13 май 19, 09:22    [21883033]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
Дмитрий Мух
Member

Откуда: Зеленоград
Сообщений: 1708
Mixon
Добрый день!
Пытаюсь разобраться как работать с сайтами по средствам C#(получить контент)

Для чего надо получить контент? Для вывода на экран? Вставки куда-то? Или для парсинга, индексации?
13 май 19, 09:25    [21883035]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Mixon,
Значит фиговый компонент браузер.
Вся готовка разметки заканчивается на событие открытие окна. (проверь)
13 май 19, 09:27    [21883037]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
Mixon
Member

Откуда:
Сообщений: 311
Дмитрий Мух,

для парсинга
13 май 19, 09:39    [21883052]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
Mixon
Member

Откуда:
Сообщений: 311
на Хабре рекомендуют Awesomium
но с ним беда, пока не могу найти первоисточник
13 май 19, 09:40    [21883053]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Mixon,
Ну, ты пока не конкретизовал беду)))
13 май 19, 09:49    [21883059]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 26479
Mixon
Дмитрий Мух,

для парсинга

Html Agility Pack (HAP)?
13 май 19, 10:27    [21883081]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
Ermak
Member

Откуда: Tomsk
Сообщений: 814
Для целей парсинга не важно, как вы видите данные в броузере
Важно, как они передаются от сервера на клиент.

Для анализа траффика использую Fiddler.
Устанавливаете его и анализируете каким образом нужные данные "надувает" от сервера клиенту (возможно это будет просто json).
17 май 19, 08:19    [21886802]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
fkthat
Member

Откуда:
Сообщений: 1139
Ermak
Важно, как они передаются от сервера на клиент.


Да как передаются - по протоколу HTTP - другого пока что не придумали, вроде бы.

HttpClient Class
17 май 19, 09:02    [21886842]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
Cat2
Member

Откуда: Petroskoi, Karjala
Сообщений: 145588
fkthat
Ermak
Важно, как они передаются от сервера на клиент.


Да как передаются - по протоколу HTTP - другого пока что не придумали, вроде бы.

HttpClient Class

Передавать не придумали, а отображать средствами JavaScript - придумали.

Я полагаю, что задача ТС не имеет решения
17 май 19, 22:23    [21887663]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
Дмитрий Мух
Member

Откуда: Зеленоград
Сообщений: 1708
Cat2
Я полагаю, что задача ТС не имеет решения

Даладно не имеет... Если HAP не подходит, то C# + PhantomJS
17 май 19, 22:30    [21887667]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
Mixon
Member

Откуда:
Сообщений: 311
Дмитрий Мух
Cat2
Я полагаю, что задача ТС не имеет решения

Даладно не имеет... Если HAP не подходит, то C# + PhantomJS

на сколько я могу судить, а я ноль в этой теме, но вижу что в теле страницы имеются блоки(дивы) обернутые в (скрипт) из все го этого на лету у клиента рендерится страница, данные у них конечно можно получить по soap, но нужен статический ip, а у меня его нет работаю в свое удовольствие из разных мест, но у же думаю как с ними этот вопрос обсудить(с администрацией ресурса).

ЗЫ Всем спасибо за участие!
20 май 19, 14:52    [21888939]     Ответить | Цитировать Сообщить модератору
 Re: webBrowser и сайт построенный на скриптах  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Mixon
получить по soap, но нужен статический ip
зачем и кому. Вам или им?
Вы договоритесь чтобы они по любому протоколу soap/rest/... вам давали чистые данные в чем угодно xml/json/...
И забирайте. Если рессурс ваши друзья).
20 май 19, 15:12    [21888975]     Ответить | Цитировать Сообщить модератору
Все форумы / WinForms, .Net Framework Ответить