Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4 5   вперед  Ctrl      все
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79,
Не один запрос, а все запросы за сеанс с куками.
Это если в js проверок нет.
24 окт 19, 12:33    [22001583]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
mayton
Member

Откуда: loopback
Сообщений: 42941
asv79
mayton,
так делаю
там кнопка которая отправляет пост запрос
я вроде все так же прописал - и даже приходит ответ от сервера типо ОК
но вот в корзине то пусто

Подожди. Ты же наполнял корзину. Что изменилось с тех пор как она перестала наполнятся.

P.S. Ну хитёёёр...
24 окт 19, 13:44    [22001653]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
mayton
asv79
mayton,
так делаю
там кнопка которая отправляет пост запрос
я вроде все так же прописал - и даже приходит ответ от сервера типо ОК
но вот в корзине то пусто

Подожди. Ты же наполнял корзину. Что изменилось с тех пор как она перестала наполнятся.

P.S. Ну хитёёёр...

не я не корзину наполнял- а базу

я эмулирую нажатие кнопки обновить билеты - получаю 10 билетов-заношу их в базу-обновляю -заношу

пропустил через фильтр - у меня есть номера билетов и комбинации-все что нужно каким то образом положить их в корзину
24 окт 19, 15:01    [22001777]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
PetroNotC Sharp
asv79,
Не один запрос, а все запросы за сеанс с куками.
Это если в js проверок нет.

там html форма

<form action="/actions/cart/add" method="post" class="cart smaller">
						<input type="hidden" name="game" value="RUS_LOTTO">
															<input type="hidden" name="targetUrl" value="/ruslotto/game?cart=lay">
			<button name="ruslotto_cart" type="submit" onclick="metrikaGoal('addticketincart');" class="pretty_button type_primary btn_m outline_white scaller" data-acter="click" data-typer="game_addbasket" data-namer="" "=""><ins class="iconic-cart"></ins>В корзину</button>
		<input type="hidden" name="data" value="{&quot;drawId&quot;:null,&quot;gameType&quot;:&quot;manual&quot;,&quot;baseStake&quot;:100,&quot;gameMode&quot;:&quot;normal&quot;,&quot;tickets&quot;:[{&quot;barCode&quot;:&quot;999848863201&quot;,&quot;numbers&quot;:[6,17,25,48,55,4,37,69,72,88,20,57,60,77,85,2,18,24,59,64,11,35,46,79,82,26,31,42,78,80]}],&quot;favorites&quot;:[],&quot;sumTotal&quot;:100,&quot;ticketsCount&quot;:1}"></form>


я отправляю все как и тут ,кроме вот этоого скрипта - я не могу вообще его найти

onclick="metrikaGoal('addticketincart')


мне приходит нормальный json
{"status":"pending"}


а когда второй раз посылаю запрос ( да у них почему то два раза запрос отпрааляется)
выходит вот такой json

{"items":[],"url":"/ruslotto/game?cart=lay","status":"ok"}


а в корзине пусто-потому что туда судя по всему не лег никакой итем -почему -понятия не имею

я отловил этот запрос в девтуле -когда кнопку жмешь все куки так же отправляю

не пойму в чем прикол
24 окт 19, 15:16    [22001797]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
вот эти два запроса Post уходят на сервер

К сообщению приложен файл. Размер - 62Kb
24 окт 19, 15:22    [22001801]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
запросы add

вот они изнутри

Request URL: https://www.stoloto.ru/actions/cart/add
Request Method: POST
Status Code: 200 OK
Remote Address: 178.248.233.104:443
Referrer Policy: no-referrer-when-downgrade
Cache-Control: no-cache, no-store, must-revalidate
Connection: keep-alive
Content-Length: 1349
Content-Type: application/json
Date: Thu, 24 Oct 2019 12:15:50 GMT
Expires: 0
Last-Build: 1571919350396
Last-Modified: Mon, 26 Jul 1997 05:00:00 GMT
Pragma: no-cache
Server: nginx
Set-Cookie: gjac=true;Path=/;Secure;HttpOnly
Set-Cookie: gbr=b0cc93ed-db48-45dd-a552-c7122bcbc5cb;Path=/;Domain=.stoloto.ru;Expires=Thu, 24-Oct-2019 14:15:50 GMT;Max-Age=7200;HttpOnly
Set-Cookie: gbr=;Path=/;Expires=Thu, 01-Jan-1970 00:00:00 GMT;Max-Age=0
Accept: application/json, text/javascript, */*; q=0.01
Accept-Encoding: gzip, deflate, br
Accept-Language: en-US,en;q=0.9
Connection: keep-alive
Content-Length: 576
Content-Type: application/x-www-form-urlencoded
Cookie: isgua=false; K=1571642393849; _ga=GA1.2.555634147.1571642396; welcome=true; _ym_uid=1571642396502481532; _ym_d=1571642396; _vwo_uuid_v2=D743B9A20B0FA987CC2E39AC6F7BA09B2|94fca6ec37493d710643e3e05cc3dc6b; __auc=354d77d216ded2fcd7d2e3ebf87; flocktory-uuid=9eebf146-8146-4fc2-89a9-15931e5d3b11-4; _fbp=fb.1.1571642397269.2005321185; SESSION=3af0ffac-8547-44ae-bebf-2a169b174b6a; wimhash21=1d86f019fc149371f67eacc92411a2de; _gid=GA1.2.528436366.1571900704; _ym_isad=2; _SI_VID_1.6befd9a02400013179aba889=1134aad1af7fd95e3601aaf2; __utmc=35201507; __utmz=35201507.1571903908.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __asc=4806e88c16dfda786524a293fbf; _ym_visorc_15627616=w; gbr=b0cc93ed-db48-45dd-a552-c7122bcbc5cb; ga=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJycyI6WyJDVVNUT01FUiIsIlVTRVIiXSwibG9jIjoicnUiLCJydiI6IlNJVEUiLCJmbiI6ItCh0YLQsNC90LjRgdC70LDQsiIsImRuIjoi0KHRgtCw0L3QuNGB0LvQsNCyIiwic2VnIjo0LCJleHAiOjE1NzE5MTk2NTIsInZpcCI6ZmFsc2UsImFwbCI6MjAwLCJtbCI6ImFzdl83OUBpbmJveC5ydSIsInN0IjoiUkVHSVNURVJFRCIsIm9yIjoiU1RPTE9UTyIsImMiOiJSVSIsImFwdCI6IllFUyIsImYiOnRydWUsImlwIjoiMTQ0LjM2LjI0MS4xMzEiLCJpIjoyMDgyMjA4NTA4LCJmcHQiOiJXQUxMRVQsQk9OVVMiLCJsIjoiYXN2Xzc5QGluYm94LnJ1IiwibSI6Ijc5MjA2OTA4ODk2IiwidmQiOmZhbHNlLCJvIjp0cnVlLCJyZCI6MTU0NjM0MzY3MjU3NiwidyI6MTU4MzE4MDE0NjQ4LCJzY3BvIjpmYWxzZSwiZmJ5IjoyMDE5fQ.AztdR1kJdGbrj07KwIAczwTf00OLExLfihIhz5Zoyu4; __utma=35201507.555634147.1571642396.1571911246.1571919247.3; __utmt=1; __utmb=35201507.1.10.1571919247; _gat=1; _SI_SID_1.6befd9a02400013179aba889=7cbf3fafc3d0f8314874ad9d.1571919349795.187193; gjac=true
Host: www.stoloto.ru
Origin: https://www.stoloto.ru
Referer: https://www.stoloto.ru/ruslotto/game?cart=lay&lastdraw
Sec-Fetch-Mode: cors
Sec-Fetch-Site: same-origin
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36
X-Requested-With: XMLHttpRequest
game: RUS_LOTTO
targetUrl: /ruslotto/game?cart=lay
ruslotto_cart: 
data: {"drawId":null,"gameType":"manual","baseStake":100,"gameMode":"normal","tickets":[{"barCode":"999848989081","numbers":[18,28,30,69,78,1,10,45,52,82,3,23,36,48,66,11,25,35,68,75,17,29,47,51,80,8,41,57,79,89]}],"favorites":[],"sumTotal":100,"ticketsCount":1}
clientId: 555634147.1571642396
userAgent: Chrome/77
trackingId: UA-44214555-1
24 окт 19, 15:28    [22001814]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
а вот мои запрос

   public static String parsUrl() throws IOException {

        Map<String, String> kuki = new HashMap<String, String>();
        kuki.put("isgua", "false");
        kuki.put("K", "1571642393849");
        kuki.put("_ga", "GA1.2.555634147.1571642396");
        kuki.put("welcome", "true");
        kuki.put("_ym_uid", "1571642396502481532");
        kuki.put("_ym_d", "1571642396");
        kuki.put("_vwo_uuid_v2", "D743B9A20B0FA987CC2E39AC6F7BA09B2|94fca6ec37493d710643e3e05cc3dc6b");
        kuki.put("__auc", "354d77d216ded2fcd7d2e3ebf87");
        kuki.put("flocktory-uuid", "9eebf146-8146-4fc2-89a9-15931e5d3b11-4");
        kuki.put("_fbp", "fb.1.1571642397269.2005321185");
        kuki.put("SESSION", "3af0ffac-8547-44ae-bebf-2a169b174b6a");
        kuki.put("wimhash21", "1d86f019fc149371f67eacc92411a2de");
        kuki.put("gbr", "80a9b31e-426d-412e-b3b9-1d6fbc2cc706");
        kuki.put(" __asc", "e963747316dfc95435c20033bee");
        kuki.put("_gid", "GA1.2.1790512847.1571642396");
        kuki.put("_ym_visorc_15627616", "w");
        kuki.put("_ym_isad=", "2");
        kuki.put("_SI_VID_1.6befd9a02400013179aba889", "1134aad1af7fd95e3601aaf2");
        kuki.put("__utma", "35201507.555634147.1571642396.1571903908.1571903908.1");
        kuki.put("__utmc", "35201507");
        kuki.put("__utmz", "35201507.1571903908.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)");
        kuki.put("ga", "eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJycyI6WyJDVVNUT01FUiIsIlVTRVIiXSwibG9jIjoicnUiLCJydiI6IlNJVEUiLCJmbiI6ItCh0YLQsNC90LjRgdC70LDQsiIsImRuIjoi0KHRgtCw0L3QuNGB0LvQsNCyIiwic2VnIjo0LCJleHAiOjE1NzE5MDkwODksInZpcCI6ZmFsc2UsImFwbCI6MjAwLCJtbCI6ImFzdl83OUBpbmJveC5ydSIsInN0IjoiUkVHSVNURVJFRCIsIm9yIjoiU1RPTE9UTyIsImMiOiJSVSIsImFwdCI6IllFUyIsImYiOnRydWUsImlwIjoiMTQ0LjM2LjI0MS4xMzEiLCJpIjoyMDgyMjA4NTA4LCJmcHQiOiJXQUxMRVQsQk9OVVMiLCJsIjoiYXN2Xzc5QGluYm94LnJ1IiwibSI6Ijc5MjA2OTA4ODk2IiwidmQiOmZhbHNlLCJvIjp0cnVlLCJyZCI6MTU0NjM0MzY3MjU3NiwidyI6MTU4MzE4MDE0NjQ4LCJzY3BvIjpmYWxzZSwiZmJ5IjoyMDE5fQ.Z17yMsbZ_NRxYzOObp_TIQ_a4oQB_zAdRNzuMQUqg4Y");
        kuki.put("_SI_SID_1.6befd9a02400013179aba889", "c52e1af865d0f8314b1f565e.1571909780891.432640; _gat=1");
//        String json = Jsoup.connect("https://s.stoloto.ru/service/bingo/ruslotto/change?callback=jQuery171010123521258160095_1571660062730&numbersToChange=%5B%7B%22barCode%22%3A%22999847030297%22%7D%2C%7B%22barCode%22%3A%22999847451294%22%7D%2C%7B%22barCode%22%3A%22999848565640%22%7D%5D&_=1571733298168")

      String s=  Jsoup.connect("https://www.stoloto.ru/actions/cart/add")
                .ignoreContentType(true)
                .cookies(kuki)
                .method(Connection.Method.POST)
                .userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36")
                .data("game","RUS_LOTTO")
                .data("targetUrl","/ruslotto/game?cart=lay")
                .data("data","{\"drawId\":null,\"gameType\":\"manual\",\"baseStake\":100,\"gameMode\":\"normal\",\"tickets\":[{\"barCode\":\"999848970204\",\"numbers\":[26,33,49,52,86,37,41,69,74,85,8,19,29,62,78,7,15,28,63,87,16,31,55,64,70,6,24,40,57,81]}],\"favorites\":[],\"sumTotal\":100,\"ticketsCount\":1}")
                .data("userAgent","Chrome/77")
                .data("trackingId","UA-44214555-1")
                .data("clientId","555634147.1571642396")
                .execute()
                .body();
        return s;


    }
24 окт 19, 15:30    [22001817]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
mayton
Member

Откуда: loopback
Сообщений: 42941
asv79, шикарно. Так можно и тебе пароль поменять.
24 окт 19, 15:35    [22001823]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
mayton,
там авторизация через телефон ,врядли получится)

а вот по поводу запроса -есть какие то идеи?

как мне мои билеты в корзину положить?
24 окт 19, 15:39    [22001828]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79
не могу вообще его найти

onclick="metrikaGoal('addticketincart')
как так?
В фоксе есть Консоль браузера. Туда идут ошибки.
Если там не ругается на отсутствии функции, значит ты плохо искал. Ищи.
24 окт 19, 15:48    [22001832]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
https://stackoverflow.com/questions/18877190/chrome-debugging-break-on-next-click-event
24 окт 19, 16:05    [22001847]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
ivanra
Member

Откуда:
Сообщений: 868
asv79,
чего то много данных отправляешь. У тебя на форме 3 инпута и 1 кнопка. Откуда взялись
                .data("userAgent","Chrome/77")
                .data("trackingId","UA-44214555-1")
                .data("clientId","555634147.1571642396")

Ну и на куки с гугль аналитикой и яндекс метриками можно забить, тут главное SESSON
24 окт 19, 16:18    [22001854]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
PetroNotC Sharp
asv79
не могу вообще его найти

onclick="metrikaGoal('addticketincart')
как так?
В фоксе есть Консоль браузера. Туда идут ошибки.
Если там не ругается на отсутствии функции, значит ты плохо искал. Ищи.

запрос то я не в браузере эмулирую а в джава коде
там ничего не ругается)
24 окт 19, 16:19    [22001856]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79,
Странный ты.
Ты сказал не нашел в js функцию АБС.
Дак ищи. Ты должен знать отладчиком что она делает.
24 окт 19, 16:21    [22001858]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
какая то жесть хибер компонует лист из 10000 тысяч объектов уже 10 минут это нормально вообще?)
командой repo.findAll();
24 окт 19, 16:22    [22001859]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79
какая то жесть хибер компонует лист из 10000 тысяч объектов уже 10 минут это нормально вообще?)
командой repo.findAll();
а хибер для чего вообще служит?
24 окт 19, 16:23    [22001862]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
PetroNotC Sharp
asv79
какая то жесть хибер компонует лист из 10000 тысяч объектов уже 10 минут это нормально вообще?)
командой repo.findAll();
а хибер для чего вообще служит?

всмысле для чего- облегачает роботу с базами данных,представляет записи в виде сущностей
что то печаль какая то выходит - неужели хибер не может переварить 10.500 сущностей
24 окт 19, 16:29    [22001868]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79,
Не можешь запомнить "хибер для crud"?
24 окт 19, 16:38    [22001875]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
ппц хибер не может выбрать 10 тысяч сущностей?))
серьезно

repo.findAll()

тупо вешает на глушняк все)
может проблема в том что у каждого тикета еще лист из 30 номеров и это получается уже 300000 записей ,хрен его знает

так база работает,по одному нормально тикеты выдергиваются

что за печаль беда то
24 окт 19, 16:38    [22001876]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
забыл ник
Member

Откуда:
Сообщений: 3048
asv79
ппц хибер не может выбрать 10 тысяч сущностей?))
серьезно

repo.findAll()

тупо вешает на глушняк все)
может проблема в том что у каждого тикета еще лист из 30 номеров и это получается уже 300000 записей ,хрен его знает

так база работает,по одному нормально тикеты выдергиваются

что за печаль беда то

Где-то недалеко вадя горько плачет
24 окт 19, 16:42    [22001882]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2732
PetroNotC Sharp
asv79,
Не можешь запомнить "хибер для crud"?

а что по твоему select * from table?
не круд разве?
24 окт 19, 16:45    [22001888]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2481
asv79
PetroNotC Sharp
asv79,
Не можешь запомнить "хибер для crud"?

а что по твоему select * from table?
не круд разве?
нет. Звезда это говнокод
24 окт 19, 16:47    [22001890]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
ivanra
Member

Откуда:
Сообщений: 868
asv79,
10000 записей это ни о чем для хибера. Если конечно нет косяков в меппинге
24 окт 19, 16:50    [22001892]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8001
и если достаточно памяти у JVM
24 окт 19, 16:55    [22001896]     Ответить | Цитировать Сообщить модератору
 Re: Парсинг динамического контента  [new]
mayton
Member

Откуда: loopback
Сообщений: 42941
asv79
ппц хибер не может выбрать 10 тысяч сущностей?))
серьезно

repo.findAll()

тупо вешает на глушняк все)
может проблема в том что у каждого тикета еще лист из 30 номеров и это получается уже 300000 записей ,хрен его знает

так база работает,по одному нормально тикеты выдергиваются

что за печаль беда то

Еще один гвоздь в крышку гроба всех Хибера

Чтоб ты делал в отделе дата-аналитики? Там датасеты начинаются от миллионов.
24 окт 19, 17:03    [22001900]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4 5   вперед  Ctrl      все
Все форумы / Java Ответить