Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5   вперед  Ctrl      все
 Re: Парсинг динамического контента  [new]
lleming
Member

Откуда:
Сообщений: 1654
если не хочется упарывать во всех уже браузерах есть копи эс curl Затем сюда

https://curl.trillworks.com/

Внимание куки все равно просрочатся.
23 окт 19, 18:18    [22001174]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
lleming
если не хочется упарывать во всех уже браузерах есть копи эс curl Затем сюда

https://curl.trillworks.com/

Внимание куки все равно просрочатся.

базу я уже заполнил- 200 тысяч уникальных билетов)

моя задача сейчас найти запрос который кладет нужные мне билеты в корзину

пока никак не смог идентифицировать этот запрос ,суко уже случайно 2 билета купил)
23 окт 19, 18:38    [22001192]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
нашел кнопку хрен его знает надо как то сделать такую же

<div class="buttons">
		<form action="/actions/cart/add" method="post" class="cart smaller">
						<input type="hidden" name="game" value="RUS_LOTTO">
															<input type="hidden" name="targetUrl" value="/ruslotto/game?cart=lay">
			<button name="ruslotto_cart" type="submit" onclick="metrikaGoal('addticketincart');" class="pretty_button type_primary btn_m outline_white scaller" data-acter="click" data-typer="game_addbasket" data-namer="" "=""><ins class="iconic-cart"></ins>В корзину</button>
		<input type="hidden" name="data" value="{&quot;drawId&quot;:null,&quot;gameType&quot;:&quot;manual&quot;,&quot;baseStake&quot;:100,&quot;gameMode&quot;:&quot;normal&quot;,&quot;tickets&quot;:[{&quot;barCode&quot;:&quot;999848418522&quot;,&quot;numbers&quot;:[2,11,21,58,74,17,23,36,60,87,39,40,50,75,89,5,16,20,37,68,29,44,67,71,81,7,15,34,51,85]}],&quot;favorites&quot;:[],&quot;sumTotal&quot;:100,&quot;ticketsCount&quot;:1}"
24 окт 19, 09:39    [22001381]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
mayton
Member

Откуда: loopback
Сообщений: 42941
Давай рутрекер парсить. Магнитики нужны чо.
24 окт 19, 10:33    [22001410]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79
нашел кнопку хрен его знает надо как то сделать такую же

<div class="buttons">
		<form action="/actions/cart/add" method="post" class="cart smaller">
						<input type="hidden" name="game" value="RUS_LOTTO">
															<input type="hidden" name="targetUrl" value="/ruslotto/game?cart=lay">
			<button name="ruslotto_cart" type="submit" onclick="metrikaGoal('addticketincart');" class="pretty_button type_primary btn_m outline_white scaller" data-acter="click" data-typer="game_addbasket" data-namer="" "=""><ins class="iconic-cart"></ins>В корзину</button>
		<input type="hidden" name="data" value="{&quot;drawId&quot;:null,&quot;gameType&quot;:&quot;manual&quot;,&quot;baseStake&quot;:100,&quot;gameMode&quot;:&quot;normal&quot;,&quot;tickets&quot;:[{&quot;barCode&quot;:&quot;999848418522&quot;,&quot;numbers&quot;:[2,11,21,58,74,17,23,36,60,87,39,40,50,75,89,5,16,20,37,68,29,44,67,71,81,7,15,34,51,85]}],&quot;favorites&quot;:[],&quot;sumTotal&quot;:100,&quot;ticketsCount&quot;:1}"

Вот изврат то. Смешивание логики и представления.
24 окт 19, 10:46    [22001418]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
mayton
Member

Откуда: loopback
Сообщений: 42941
В 2000х у меня тоже был выбор. Идти в фулстек или в классический back-end.
Моё слабое сердце не выдержало UI разработки. Посмотрел я как ребятя костылят велосипеды.

Особенно плохо было с браузерами. Сколько браузеров столько и if-ов в коде.
24 окт 19, 11:00    [22001429]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
mayton,
Ты верно решил). Фронт студенты лабают.
Еще прикольно что 404 то есть не загрузка всей страницы с кодом не останавливает программу в кавычках.
И на экран варнинг не выводится.
Что сразу исключает из корпоратива и ентерпрайза.
24 окт 19, 11:11    [22001437]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
PetroNotC Sharp,

короче перехватил я запрос этот

два раза он отсылается

выглядит не очень понятно,помимо куки мне надо вот это передать
game: RUS_LOTTO
targetUrl: /ruslotto/game?cart=lay
ruslotto_cart: 
data: {"drawId":null,"gameType":"manual","baseStake":100,"gameMode":"normal","tickets":[{"barCode":"999848888385","numbers":[25,34,45,64,85,12,22,44,55,70,5,14,69,72,90,13,33,54,67,78,8,28,46,58,83,15,20,32,47,73]}],"favorites":[],"sumTotal":100,"ticketsCount":1}
clientId: 555634147.1571642396
userAgent: Chrome/77
trackingId: UA-44214555-1
24 окт 19, 11:25    [22001452]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
mayton
Member

Откуда: loopback
Сообщений: 42941
asv79, ох чет я сомневаюсь насчет твоей этой активности.

Ребята из Лото не вломят ли тебе пилюлей?
24 окт 19, 11:27    [22001458]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
я сформировал запрос
 String s=  Jsoup.connect("https://www.stoloto.ru/actions/cart/add")
                .ignoreContentType(true)
                .cookies(kuki)
                .method(Connection.Method.POST)
                .userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36")
                .data("game","RUS_LOTTO")
                .data("targetUrl","/ruslotto/game?cart=lay")
                .data("data","{\"drawId\":null,\"gameType\":\"manual\",\"baseStake\":100,\"gameMode\":\"normal\",\"tickets\":[{\"barCode\":\"999860397328\",\"numbers\":[2,13,27,73,84,8,26,39,40,88,16,38,50,60,77,4,19,36,54,90,5,17,34,48,79,20,42,51,63,78]}],\"favorites\":[],\"sumTotal\":100,\"ticketsCount\":1}")
                .data("userAgent","Chrome/77")
                .data("trackingId","UA-44214555-1")
                .data("clientId","555634147.1571642396")
                .execute()
                .body();
        return s;


получаю сначала норм ответ pending
а потом
{"items":[],"url":"/ruslotto/game?cart=lay","status":"ok"}


но чего то не добавляется ничо в корзину
24 окт 19, 11:38    [22001474]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
mayton
asv79, ох чет я сомневаюсь насчет твоей этой активности.

Ребята из Лото не вломят ли тебе пилюлей?


за что? все в отктром доступе
я же не сервер ломаю,а хочу купить билеты,которые мой апликейшн выбрал)
24 окт 19, 11:39    [22001476]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79,
Увы. У них не публичное api. Официально ты нарушаешь закон.
24 окт 19, 11:50    [22001490]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
PetroNotC Sharp
asv79,
Увы. У них не публичное api. Официально ты нарушаешь закон.

всмысле нарушаю?
я беру запросы из браузера,которые завуалированы под кнопки
в чем разница -нажал я кнопку или запрос отправил руками на сервер
я же не меняю какие то данные
24 окт 19, 11:52    [22001493]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79,
Представь, что есть дом, калитка со звонком. Открыто.
Ты зашел в открытую дверь и гуляешь и "нюхаешь цветы"))).
Не законно.
24 окт 19, 11:52    [22001494]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79
в чем разница -нажал я кнопку или запрос отправил руками на сервер
применил отмычку.
24 окт 19, 11:53    [22001495]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
mayton
Member

Откуда: loopback
Сообщений: 42941
asv79
mayton
asv79, ох чет я сомневаюсь насчет твоей этой активности.

Ребята из Лото не вломят ли тебе пилюлей?


за что? все в отктром доступе
я же не сервер ломаю,а хочу купить билеты,которые мой апликейшн выбрал)

Тут понимаешь. Уголовное право на это смотрит так. Ты. Стас Иванов. С какой целью на улицу пошел с ножиком?
Хлебушек порезать? Или может ты задумал покушение на убийство?

С какими намерениями ты парсил сайт?

Улавливаешь?
24 окт 19, 11:54    [22001496]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
mayton
asv79
пропущено...


за что? все в отктром доступе
я же не сервер ломаю,а хочу купить билеты,которые мой апликейшн выбрал)

Тут понимаешь. Уголовное право на это смотрит так. Ты. Стас Иванов. С какой целью на улицу пошел с ножиком?
Хлебушек порезать? Или может ты задумал покушение на убийство?

С какими намерениями ты парсил сайт?

Улавливаешь?


ну вы даете))
я могу тоже самое делать на бумажке- обновлять билеты -записывать комбинации-- потом так же в ручную найти нужные мне билеты)
24 окт 19, 11:56    [22001499]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
PetroNotC Sharp
asv79,
Представь, что есть дом, калитка со звонком. Открыто.
Ты зашел в открытую дверь и гуляешь и "нюхаешь цветы"))).
Не законно.

все верно -защел в калитку=залез в базу данных
а если ты нюхаешь цветы на общественной улице -это твое право
я же не лезу на сервер
все в рамках их же запросов - просто без браузера
24 окт 19, 11:57    [22001500]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
mayton
Member

Откуда: loopback
Сообщений: 42941
asv79
mayton
пропущено...

Тут понимаешь. Уголовное право на это смотрит так. Ты. Стас Иванов. С какой целью на улицу пошел с ножиком?
Хлебушек порезать? Или может ты задумал покушение на убийство?

С какими намерениями ты парсил сайт?

Улавливаешь?


ну вы даете))
я могу тоже самое делать на бумажке- обновлять билеты -записывать комбинации-- потом так же в ручную найти нужные мне билеты)

Ну вот и делай на бумажке. По крайней мере с точки зрения преступления сложнее будет доказать.
И есть еще градация. Преступление с испольованием тех-средств. Как-то автомобилей. Электро-инструмента.
И т.п. Статья более тяжелая. И больше лет дают.
24 окт 19, 11:58    [22001504]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79
просто без браузера
в этом дело.
Это их ИС и их программное обеспечение.
У банка тоже есть банк-клиент.
24 окт 19, 11:59    [22001506]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
Вообще, ты эмулировал браузер))
24 окт 19, 12:01    [22001511]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
PetroNotC Sharp
Вообще, ты эмулировал браузер))


лучше скажи почему не кладется билет в корзину?)
24 окт 19, 12:08    [22001534]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
mayton
Member

Откуда: loopback
Сообщений: 42941
Включи в браузере режим девелопера. И добавь в корзину средствами UI.
Посмотри какие сервисные методы работают и что возвращают.

Тут никто кроме тебя не будет разбираться.
24 окт 19, 12:11    [22001540]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
mayton,
так делаю
там кнопка которая отправляет пост запрос
я вроде все так же прописал - и даже приходит ответ от сервера типо ОК
но вот в корзине то пусто
24 окт 19, 12:22    [22001566]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79,
Так не бывает.
Значит не все повторил со старта сессии.
24 окт 19, 12:31    [22001580]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5   вперед  Ctrl      все
Все форумы / Java Ответить