Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: И снова скала немного многопоточки  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
andreykaT
у меня всё это вылетает скажем так, параллельно Картинка с другого сайта. это круто, но сторонний сервис валится типа ту мени реквестс. да и мне столько не надо.
поподробнее)
26 мар 19, 12:55    [21843644]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
dimonz80
Member

Откуда:
Сообщений: 195
andreykaT
короче, сделал актора, всё-равно на плее проект а плей на акке, актор одним концом читает данные из базы в очередь по онкомплиту, набивает очередь, как только очередь набилась, сам себе кидает ивент для того чтоб обработать очередь где она тоже в онкомплите поштучно обрабатывается, а когда обработает, и очередь кончается, шедулит первый ивент через какой-то период времени (аккасистем.шедуле) и снова его кидает и так по кругу. и всё получается в одном потоке. и задачи друг на друга не наслаиваются. правда, мне кажется, что костыль.



Future.sequence


А вообще Akka Streams + back pressure для такой задачи подойдет лучше.
26 мар 19, 14:02    [21843755]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
dimonz80
Member

Откуда:
Сообщений: 195
dimonz80
andreykaT
короче, сделал актора, всё-равно на плее проект а плей на акке, актор одним концом читает данные из базы в очередь по онкомплиту, набивает очередь, как только очередь набилась, сам себе кидает ивент для того чтоб обработать очередь где она тоже в онкомплите поштучно обрабатывается, а когда обработает, и очередь кончается, шедулит первый ивент через какой-то период времени (аккасистем.шедуле) и снова его кидает и так по кругу. и всё получается в одном потоке. и задачи друг на друга не наслаиваются. правда, мне кажется, что костыль.



Future.sequence


А вообще Akka Streams + back pressure для такой задачи подойдет лучше.



На мой дилетантский взгляд типа как-то так:

 
import akka.actor._
import akka.stream._
import akka.stream.scaladsl.{Keep, Sink, Source}

import scala.concurrent.{Await, Future}
import scala.concurrent.duration._
import scala.concurrent.ExecutionContext.Implicits.global

implicit val system = ActorSystem("System")
implicit val materializer = ActorMaterializer()


// remote service mock
def remoteServiceResult(i: Int) = Future(i)

// Типа результат локального асинхронного чего-то там как List[Future[Int]]
val fList: Seq[Future[Int]] = (1 to 10).map { i =>  Future(i) }.toList

// Дожидаемся  результата
val syncLocalResult: Seq[Int] = Await.result(Future.sequence(fList),10 seconds)

// Стримом окучиваем удаленный сервис с ограничением 2 запроса/сек
val remoteServiceAsyncResult: Future[Seq[Int]] = 
  Source
    .fromIterator(() => syncLocalResult.toIterator)
    .throttle(2, 1 second) // Ограничить скорость 2 запроса/сек
    .map{ i =>
      // Тут на свое усмотрение работаем с запросом к сервису (в данном случае синхронно, чтобы на выходе стрима было Future[Seq[Int]])
      // Хотя можно отложить ожидание на потом и получить Future[Seq[Future[Int]]]
      Await.result(remoteServiceResult(i), 10 seconds)
    }
    .toMat(Sink.collection)(Keep.right).run()

 
26 мар 19, 14:47    [21843822]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
dimonz80
с ограничением 2 запроса/сек
это зачем?
Я понимаю ещё, ограничить количество потоков или загрузку процессора.
А тут?
26 мар 19, 14:53    [21843833]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
dimonz80
Member

Откуда:
Сообщений: 195
Petro123
dimonz80
с ограничением 2 запроса/сек
это зачем?
Я понимаю ещё, ограничить количество потоков или загрузку процессора.
А тут?


А чего нам самих себя ограничивать в потоках? У нас все в порядке))) Проблема с удаленным сервисом
автор
но сторонний сервис валится типа ту мени реквестс


Наша задача врубить троттлинг а там акка пусть сама ресурсами рулит.
26 мар 19, 14:59    [21843846]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
dimonz80
Member

Откуда:
Сообщений: 195
dimonz80
Petro123
пропущено...
это зачем?
Я понимаю ещё, ограничить количество потоков или загрузку процессора.
А тут?


А чего нам самих себя ограничивать в потоках? У нас все в порядке))) Проблема с удаленным сервисом
автор
но сторонний сервис валится типа ту мени реквестс


Наша задача врубить троттлинг а там акка пусть сама ресурсами рулит.




А хотя для ожидания удаленного сервиса неплохо бы отдельный тред пул для акки сконфигурить
26 мар 19, 15:02    [21843858]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
dimonz80
А чего нам самих себя ограничивать в потоках? У нас все в порядке))) Проблема с удаленным сервисом
про сервис автор молчит.
Ты тоже не сказал, зачем воткнул ограничение.
26 мар 19, 15:09    [21843869]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
dimonz80
Member

Откуда:
Сообщений: 195
Petro123
dimonz80
А чего нам самих себя ограничивать в потоках? У нас все в порядке))) Проблема с удаленным сервисом
про сервис автор молчит.
Ты тоже не сказал, зачем воткнул ограничение.



Может я неверно постановку вопроса понял. Но видится мне что проблема в потопе удаленного сервиса и с нашей стороны надо умерить аппетит.

andreykaT
Собссно вопрос, как правильно сделать

у меня есть вызов, он возвращает лист футур. я эти футуры разворачиваю,
и далее через форыч мне с данными из каждой футуры надо сходить на сторонний сервис кое-что забрать.
так вот, если я сделаю просто форыч по листу футур с вызовами на сторонний сервис (который тоже футуру возвращает)

у меня всё это вылетает скажем так, параллельно это круто, но сторонний сервис валится типа ту мени реквестс. да и мне столько не надо.

ну и вопрос, как мне заставить эти футуры выстреливать порционно . хотя бы.
я могу впилить Thread.sleep(t) внутрь форыча и будет то, что я хочу. Но мне что-то подсказывает, что есть более правильное решение.


Ждем ТСа. Пусть внесет ясность в постановку задачи
26 мар 19, 15:16    [21843883]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
dimonz80,
Да.
Не должен падать рест сервис по ерунде)
26 мар 19, 15:34    [21843927]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
andreykaT
Member

Откуда:
Сообщений: 2214
да, всё верно. футура листа данных начинает его мапить в вебклиент, который конечно же тоже возвращает футуру, итого пробегает цикл неблокируемо, создающий набор футур от вебклиента, которые ессно в бэкграунде сразу же и стреляют фейерверком из всех стволов на все возможные потоки которые пулл ему выдал. а удаленный вебсервис имеет ограничение по количеству запросов параллельных с одного адреса. скажем, в параллели выстреливает 8 запросов из них 2 проходит, шесть фейлит с ошибкой тумениреквестс, следующим прогоном мне залетает уже 6 запросов из них 4 валится, далее, 4 ну и вы поняли. оно работает но не очень. сделай изначально последовательно - все 8 за проход бы прошлись.

(зы если что это изначальная ситуация была)
26 мар 19, 15:36    [21843930]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
andreykaT
фейерверком из всех стволов
так и надо
andreykaT
выстреливает 8 запросов
веб сервис не способен отработать 8 запросов?
26 мар 19, 15:42    [21843938]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
andreykaT,
"Не ломай клиент под импотентный сервис"(с)
26 мар 19, 15:43    [21843939]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
mayton
Member

Откуда: loopback
Сообщений: 41056
Да. Необходимость дросселя (throttle) под вопросом. Я считаю что мы должны консьюмить на максимально
возможной скорости. Будем успевать обрабатывать или нет это уже второй вопрос.
26 мар 19, 15:44    [21843940]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
dimonz80
Member

Откуда:
Сообщений: 195
mayton
Да. Необходимость дросселя (throttle) под вопросом. Я считаю что мы должны консьюмить на максимально
возможной скорости. Будем успевать обрабатывать или нет это уже второй вопрос.


Ага, и городить навороченного потребителя с политиками повторного опроса, километрами настроек и т.п., которого отладим до приемлемого состояния к 4 кварталу следующего года))
26 мар 19, 16:03    [21843965]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
andreykaT
Member

Откуда:
Сообщений: 2214
Petro123
andreykaT
фейерверком из всех стволов
так и надо
andreykaT
выстреливает 8 запросов
веб сервис не способен отработать 8 запросов?

это не мой вебсервис, я не знаю. может и не может. а может просто не хотят.
26 мар 19, 16:15    [21843978]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Озверин
Member

Откуда: Ростов-на-Дону
Сообщений: 5183
andreykaT, неужели в скале нет примитивного fixedThreadPool`а?
26 мар 19, 16:21    [21843983]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
dimonz80
Member

Откуда:
Сообщений: 195
Озверин
andreykaT, неужели в скале нет примитивного fixedThreadPool`а?



Keep calm and use Java
26 мар 19, 16:40    [21844008]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
andreykaT
это не мой вебсервис, я не знаю. может и не может. а может просто не хотят.
ты хотя бы скрин ошибки показал.
То есть два клиента не могут работать одновременно?
Это как?
26 мар 19, 16:46    [21844011]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Озверин
andreykaT, неужели в скале нет примитивного fixedThreadPool`а?
ТС с play у нас единственный.
А скалу наверно тормозить в однопоточность идиотская затея.
"клиент не должен делать следующий запрос без ответа предыдущего"))) LOL
26 мар 19, 16:50    [21844017]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Imho весь топик не туда, так как автор не так понял ошибки веб сервиса.
26 мар 19, 16:51    [21844019]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Озверин
Member

Откуда: Ростов-на-Дону
Сообщений: 5183
andreykaT, собственно, если чо, я про скалу ничего не знаю, и про плэей, но тут есть описание всяких тред пулов и не вижу особых проблем взять любой с фикированным размером использовать какой-нить блокинг аррэй, если надо получать exception при переполнении очереди или linkedqueue если нужна безрамерная очередь.
26 мар 19, 16:55    [21844025]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
Озверин
Member

Откуда: Ростов-на-Дону
Сообщений: 5183
Озверин
andreykaT, собственно, если чо, я про скалу ничего не знаю, и про плэей, но тут есть описание всяких тред пулов и не вижу особых проблем взять любой с фикированным размером использовать какой-нить блокинг аррэй, если надо получать exception при переполнении очереди или linkedqueue если нужна безрамерная очередь.


https://www.playframework.com/documentation/2.7.x/ThreadPools
26 мар 19, 16:55    [21844026]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
mayton
Member

Откуда: loopback
Сообщений: 41056
dimonz80
mayton
Да. Необходимость дросселя (throttle) под вопросом. Я считаю что мы должны консьюмить на максимально
возможной скорости. Будем успевать обрабатывать или нет это уже второй вопрос.


Ага, и городить навороченного потребителя с политиками повторного опроса, километрами настроек и т.п., которого отладим до приемлемого состояния к 4 кварталу следующего года))

Я этого не говорил.
26 мар 19, 16:58    [21844032]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
andreykaT
Member

Откуда:
Сообщений: 2214
Озверин
andreykaT, собственно, если чо, я про скалу ничего не знаю, и про плэей, но тут есть описание всяких тред пулов и не вижу особых проблем взять любой с фикированным размером использовать какой-нить блокинг аррэй, если надо получать exception при переполнении очереди или linkedqueue если нужна безрамерная очередь.

так я в итоге так и сделал через актор с блокинг-кью. ну мне кажется это костылина. хотя народ говорит что если мне надо то что мне надо то сойдет.

но тут бы в крайности не впадать. ты можешь и пропихнуть тредпул с одним потоком, например, или асинкавайт сделать. вопрос скорее - насколько это верно в принципе.
26 мар 19, 17:01    [21844036]     Ответить | Цитировать Сообщить модератору
 Re: И снова скала немного многопоточки  [new]
andreykaT
Member

Откуда:
Сообщений: 2214
Petro123
andreykaT
это не мой вебсервис, я не знаю. может и не может. а может просто не хотят.
ты хотя бы скрин ошибки показал.
То есть два клиента не могут работать одновременно?
Это как?

могут. это внутренний сервис, для ограниченного числа клиентов. да. оно вернет 429 после определенного количества параллельных запросов с одного адреса. он такой какой он есть. он константа. ну вот так вот да. я не пойму что удивляет, а если у меня начнет бомбить скажем ну ладно не 8 запросов, а 80 или 800. мне всё же кажется, надо иметь какой-то инструмент ограничения подобного поведения. и всего то.
26 мар 19, 17:04    [21844039]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / Java Ответить