Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 немного практической кафки в топик  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 3233
собссно тема. есть топик. есть 10 партиций на топике.
есть 10 консамеров. сидят в одной группе.
топик компактный, много данных. читаем сначала. консамеры поллят раз в секунду. выгребают до 1000 сообщений.
в топике.

ожидаемое поведение - стартуем 10 консамеров - все 10 консамеров гребут по 1000 сообщений.
что в реале - из 10-ти консамеров рандомно 2-3 консамера выгребают от 200 и до 1000 сообщений за один цикл

что за фигня. понимаю это больше не касательно джавы но все же. выходит кафка еще и не гарантирует отдачу сообщения даже если оно есть? ну то есть отдам когда-нибудь.
18 ноя 20, 14:51    [22234631]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
забыл ник
Member

Откуда:
Сообщений: 3436
andreykaT
собссно тема. есть топик. есть 10 партиций на топике.
есть 10 консамеров. сидят в одной группе.
топик компактный, много данных. читаем сначала. консамеры поллят раз в секунду. выгребают до 1000 сообщений.
в топике.

ожидаемое поведение - стартуем 10 консамеров - все 10 консамеров гребут по 1000 сообщений.
что в реале - из 10-ти консамеров рандомно 2-3 консамера выгребают от 200 и до 1000 сообщений за один цикл

что за фигня. понимаю это больше не касательно джавы но все же. выходит кафка еще и не гарантирует отдачу сообщения даже если оно есть? ну то есть отдам когда-нибудь.

Без кода и логов сложно понять что там у тебя.
Точно одна group.id у них? Сколько ядер на серваке? Может тупо не успевает выгрести, хз
18 ноя 20, 15:03    [22234647]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
andreykaT,
Очереди всегда надо мониторить и изучать инструменты оного.
Это побочка асинхронности.
Изучай.
18 ноя 20, 15:20    [22234657]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 9249
andreykaT

....
что за фигня. понимаю это больше не касательно джавы но все же. выходит кафка еще и не гарантирует отдачу сообщения даже если оно есть? ну то есть отдам когда-нибудь.


А когда по Вашему должен наступать момент "оно есть" ?

Вообще, если в коде/приложение есть точки синхронизации, до которых "оно нет", а после которых "оно гарантированно есть".... то это и называется "синхронизация" ))), синхронный код. Полная противоположность асинхронному ))) IMHO & AFAIK

Кафку не знаю. Подозреваю интервалы выгребания и кэширования как нибудь настраиваются. Но это Вам на курсы администрирования кафки )))
18 ноя 20, 15:28    [22234668]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 3233
забыл ник
andreykaT
собссно тема. есть топик. есть 10 партиций на топике.
есть 10 консамеров. сидят в одной группе.
топик компактный, много данных. читаем сначала. консамеры поллят раз в секунду. выгребают до 1000 сообщений.
в топике.

ожидаемое поведение - стартуем 10 консамеров - все 10 консамеров гребут по 1000 сообщений.
что в реале - из 10-ти консамеров рандомно 2-3 консамера выгребают от 200 и до 1000 сообщений за один цикл

что за фигня. понимаю это больше не касательно джавы но все же. выходит кафка еще и не гарантирует отдачу сообщения даже если оно есть? ну то есть отдам когда-нибудь.

Без кода и логов сложно понять что там у тебя.
Точно одна group.id у них? Сколько ядер на серваке? Может тупо не успевает выгрести, хз

Так в логах ниче нет. Полл прошел консумер выгреб ноль.
Групайди одна. Это прям 143%.
Выглядит так будто кафка типа "не готова" Отдавать сообщения, А в следующий полл может быть готова. А может тоже нет. Я то думал там можно до бесконечности накидать партиций и Консамеров. И оно типа будет работать. Но вот оказывается нет :)
18 ноя 20, 16:56    [22234765]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
andreykaT,
Жжешь
18 ноя 20, 17:42    [22234793]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
andreykaT
Так в логах ниче нет
что как девушка? Чьи логи? Уровень логирования?
18 ноя 20, 17:46    [22234805]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
Zzz79
Member

Откуда:
Сообщений: 1005
andreykaT,

не понял как у вас там это настроено,у нас было так что до потребителя доходит сабж всегда,собсно кафка это и гарантирует,просто подожди ,все дойдет
18 ноя 20, 20:22    [22234915]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 3233
просто подожди это сколько подожди особенно когда читаешь компактный топик с начала.

в том и дело что я читаю топик сначала. а оно отдает сообщения порциями с невменяемыми паузами.
18 ноя 20, 21:15    [22234931]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
andreykaT
кафка типа "не готова"

Zzz79
просто подожди ,все дойдет

Ребята. Давайте инженерными терминами.
18 ноя 20, 22:15    [22234961]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
mayton
Member

Откуда: loopback
Сообщений: 49763
andreykaT
собссно тема. есть топик. есть 10 партиций на топике.
есть 10 консамеров. сидят в одной группе.
топик компактный, много данных. читаем сначала. консамеры поллят раз в секунду. выгребают до 1000 сообщений.
в топике.

ожидаемое поведение - стартуем 10 консамеров - все 10 консамеров гребут по 1000 сообщений.
что в реале - из 10-ти консамеров рандомно 2-3 консамера выгребают от 200 и до 1000 сообщений за один цикл

что за фигня. понимаю это больше не касательно джавы но все же. выходит кафка еще и не гарантирует отдачу сообщения даже если оно есть? ну то есть отдам когда-нибудь.


Как-то сумбурно всё... Я думаю что работает одна из квантовых механик гарантий доставки.
Но чтобы что-то детально говорить надо узнать как андрейка сконфигурил. Нужен какой-то первый шаг.

Вот со ссылкой на доку
https://kafka.apache.org/documentation/#semantics
At most once—Messages may be lost but are never redelivered.
At least once—Messages are never lost but may be redelivered.
Exactly once—this is what people actually want, each message is delivered once and only once.


Сообщение было отредактировано: 18 ноя 20, 22:34
18 ноя 20, 22:38    [22234977]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
mayton
Member

Откуда: loopback
Сообщений: 49763
del

Сообщение было отредактировано: 18 ноя 20, 22:33
18 ноя 20, 22:39    [22234979]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 3233
ну насколько я понимаю у меня второй кейс. то есть либо раз либо много.
далее, кафка не моя. у меня в руке есть топик и брокер. всё. могу слушать могу не слушать.

в общем, судя по тому как валятся мессаджи я думаю всё же какие то моменты с конфигурацией самой кафки.

фиг с ним. спрошу как всегда девопсов что там наворотили.

пока практика показывает даже если мессаджи есть не факт что при первом случившемся полле они тебе прилетят.

ок.

тогда такой чуть другой вопрос. надо прочесть топик до конца и погасить консамер. или группу консамеров.
что я умею делать. я умею читать конечный оффсет, я умею читать текущий оффсет. я умею вычесть текущий минус конечный и узнать сколько осталось.

как я это вижу. я вначале собираю в какую нибудь конкурентную мапу ключами все партиции (1-2-3-4-5-6 и т.п.) и при каждом обработанном рекорде вытаскиваю текущий оффсет и максимальный оффсет (на момент получения рекорда) и кладу в мапу по ключу партиции значение разницы между ними.

в итоге у меня получается некий реестр с партициями и остатком мессаджей. и вот я периодически смотрю когда там всё будет по нулям (на самом деле по единицам) - я гашу сервис.

это вполне рабочий вариант как мне кажется, до тех пор, пока не наступит случай кода надо запустить несколько инстансов своего приложения. то есть вариант не очень. )

есть еще какие то варианты дочитать топик до условного конца и выключиться?
18 ноя 20, 23:40    [22235010]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
mayton
Member

Откуда: loopback
Сообщений: 49763
Если ты хочешь гарантировано определить, что топик закончился, то засылай на продюсерах спец-сообщение типа TerminalMessage. И отваливайся.
19 ноя 20, 01:31    [22235036]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
mayton
Если ты хочешь гарантировано определить, что топик закончился, то засылай на продюсерах спец-сообщение типа TerminalMessage. И отваливайся.
+1
В файлах есь EOF для этого. В строках конец строки.
А вот в очерели, да еще закольцованной #какойконецавторищет?
))
19 ноя 20, 08:01    [22235068]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
andreykaT
ок.

тогда такой чуть другой вопрос
понятно. Развивать знания не захотели.
Тему мониторинга очередей закрыли.
19 ноя 20, 08:03    [22235070]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
mad_nazgul
Member

Откуда:
Сообщений: 5596
andreykaT
есть еще какие то варианты дочитать топик до условного конца и выключиться?


"Условный конец" топика, это когда его удалят.

Очень грубая аналогия:

Топик это "сливная труба", в которую кто-то может "сливать воду" (передавать данные).
В ней может быть "то густо, то пусто" (данные поступают не равномерно).
Вода в ней "закончиться" может только, когда "трубу демонтируют" (данные гарантированно не будут поступать, когда топик уничтожен).

Ещё несколько особенностей Кафки.
Чтение из топика не гарантирует, что их нельзя ещё раз прочесть.
При желании их можно прочесть несколько раз.
По умолчанию данные в топике хранятся 7 дней.

Т.е. Кафка дает гарантию доставки данных. но не дает гарантию единственности доставки данных.
19 ноя 20, 08:30    [22235078]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 3233
mad_nazgul
andreykaT
есть еще какие то варианты дочитать топик до условного конца и выключиться?


"Условный конец" топика, это когда его удалят.

Очень грубая аналогия:

Топик это "сливная труба", в которую кто-то может "сливать воду" (передавать данные).
В ней может быть "то густо, то пусто" (данные поступают не равномерно).
Вода в ней "закончиться" может только, когда "трубу демонтируют" (данные гарантированно не будут поступать, когда топик уничтожен).

Ещё несколько особенностей Кафки.
Чтение из топика не гарантирует, что их нельзя ещё раз прочесть.
При желании их можно прочесть несколько раз.
По умолчанию данные в топике хранятся 7 дней.

Т.е. Кафка дает гарантию доставки данных. но не дает гарантию единственности доставки данных.


речь о компакт-топике. в нем данные хранятся по ключам столько сколько надо хранятся и никуда не исчезают. то есть по одному ключу может быть от 1го сообщения до икс сообщений (сортировкой по таймлайну). когда запускается процесс зачистки - он дропает емнип все кроме последнего. и так до следующего раза. по ключу может быть 1-2-3-4-5 сообщений. прошел пурдж - остался 1 или 1-2. ну и т.п.

далее, понятно что у топика нет понятия "конец" но у него есть понятие какой был оффсет у твоего консумера (консумеров) по партициям в рамках твоей группы. то есть ты как минимум, можешь прочесть все сообщения со старта и до момента где ты "вошел" в него. (в моем случае этого вполне достаточно так же).

либо до того момента когда ты прочтешь все сообщения всех партиций и твой оффсет будет равен макс-оффсет. это тоже (в моем случае разумеется) можно посчитать как "конец".

опять же у меня моя специфическя задача и она такая какая она есть. никто ничего в топик слать не будет так как топик публичный со своей логикой и своими слушателями которые эту логику ожидают.
19 ноя 20, 12:28    [22235229]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
andreykaT
опять же у меня моя специфическя задача и она такая какая она есть
тогда не ленись и МОНИТОРЬ чужую очередь. Где ты ничего не можешь а толькт наблюдатель.
Изучай средства кафки.
19 ноя 20, 13:10    [22235267]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 9249
PetroNotC Sharp
mayton
Если ты хочешь гарантировано определить, что топик закончился, то засылай на продюсерах спец-сообщение типа TerminalMessage. И отваливайся.
+1
В файлах есь EOF для этого. В строках конец строки.
А вот в очерели, да еще закольцованной #какойконецавторищет?
))

+1

Не говоря о том, что в НЕ синхронной системе (когда в общем-то само понятие "время" у нас отсутствует) и к тому же распределенной (когда отсутствует понятие "где") вообще слова "если мессаджи есть" теряют свой смысл. Т.к. ни когда именно они есть, ни где именно они есть - неопределено.

Например для ConcurrentQueue: Хочется точно знать "offset" и "count", будь добр сделать synchronize, заблокировать всю работу и только тогда, возможно, ты можешь их получить. Возможно, т.к. собственно ConcurrentQueue не позволяет сделать synchronize ))). Для казалось бы простейшей задачи/желания нужно городить велосипед из 100500 классов поверх (видел такое).

НЕ приминительно к Kafka. А вообще. Сферически. IMHO

p.s. Такое чувство, что попытка использовать очереди в качестве БД или хранилища информации. До чего только современные технологии не доводят. Поизобретали микроскопов, а гвозди нормально забивать нечем ))).
19 ноя 20, 13:28    [22235286]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
Leonid Kudryavtsev,
Да. Ты угадал. Аффтар делает копию бд в очередях)))
С постановкой у него уже пол года эксперименты.
19 ноя 20, 13:53    [22235323]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
mad_nazgul
Member

Откуда:
Сообщений: 5596
PetroNotC Sharp
Leonid Kudryavtsev,
Да. Ты угадал. Аффтар делает копию бд в очередях)))
С постановкой у него уже пол года эксперименты.


А чем Kafka Streams не подходит?
19 ноя 20, 14:13    [22235345]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 3233
Leonid Kudryavtsev
PetroNotC Sharp
пропущено...
+1
В файлах есь EOF для этого. В строках конец строки.
А вот в очерели, да еще закольцованной #какойконецавторищет?
))

+1

Не говоря о том, что в НЕ синхронной системе (когда в общем-то само понятие "время" у нас отсутствует) и к тому же распределенной (когда отсутствует понятие "где") вообще слова "если мессаджи есть" теряют свой смысл. Т.к. ни когда именно они есть, ни где именно они есть - неопределено.

Например для ConcurrentQueue: Хочется точно знать "offset" и "count", будь добр сделать synchronize, заблокировать всю работу и только тогда, возможно, ты можешь их получить. Возможно, т.к. собственно ConcurrentQueue не позволяет сделать synchronize ))). Для казалось бы простейшей задачи/желания нужно городить велосипед из 100500 классов поверх (видел такое).

НЕ приминительно к Kafka. А вообще. Сферически. IMHO

p.s. Такое чувство, что попытка использовать очереди в качестве БД или хранилища информации. До чего только современные технологии не доводят. Поизобретали микроскопов, а гвозди нормально забивать нечем ))).

верное чувство. очереди используют как хранилище данных. почему так? ну вот так вот. я как сталин работаю с теми людьми что есть других не дали. )))

я понимаю что "конец" очереди это вещь весьма условная. потому что он может быть конец на определенный момент времени который у всех к тому же разный. я думаю что конец а за долю секунды до того или после того залетело уже новое сообщение а я не знаю и думаю что конец а оно прилетает. понятно что это всё ОЧЕНЬ условно.
поэтому цель стоит прочитать всё что нужно из топика до определенного оффсета,потому что после него уже читают другие. или незадолго до него.
оффсет это понятие абсолютное. вот когда ты его попросил у кафки оно посмотрело в партицию и отдало тебе это значение. всё. так же у партиции есть как минимум, начало.

можно сказать к системе требование "ат лист ванс" то есть если продублируются некоторые мессаджи это не страшно. страшно если они не придут вовсе.
19 ноя 20, 14:42    [22235380]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
andreykaT,
Мил человек. Рано вам Мир подстраивать под себя как Сталин.
Сначала найдите ваш юзкейс в сети и после этого можно обсуждать.
Не нашли? Нобелевская у вас?

Сообщение было отредактировано: 19 ноя 20, 15:15
19 ноя 20, 15:19    [22235431]     Ответить | Цитировать Сообщить модератору
 Re: немного практической кафки в топик  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
andreykaT
цель стоит прочитать всё что нужно из топика до определенного оффсета

Термин кухарки детектед и подчеркнут.
19 ноя 20, 15:23    [22235433]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Java Ответить