Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 7 [8] 9   вперед  Ctrl      все
 Re: акка или кафка?  [new]
chpasha
Member

Откуда:
Сообщений: 9552
вадя
по 600 в секунду а таких и не понятно сколько за раз - 2 или 2000
так у тебя может не хватить - из-за пустых мест в id

bigint/bigserial = 9223372036854775807, можешь посчитать на сколько лет хватит ;)


вадя

ну и не известно сколько надо этих id бронировать - по 10000 ? по 20? по 78?

ну сколько нибудь батчей, чтоб не каждые 2 сек. в базу бегать.
13 июл 20, 22:00    [22166873]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17915
chpasha
ну сколько нибудь батчей, чтоб не каждые 2 сек. в базу бегать.
вот с этим и проблема. ну сколько-нибудь.... это на каком ЯП?

chpasha
bigint/bigserial = 9223372036854775807, можешь посчитать на сколько лет хватит ;)
как бы много, но всё кончается в самый не подходящий момент
я не говорю что это не правильный путь - только на нём тоже не всё так просто и прямо...

Сообщение было отредактировано: 13 июл 20, 22:06
13 июл 20, 22:06    [22166874]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
chpasha
Member

Откуда:
Сообщений: 9552
вадя
ну сколько-нибудь.... это на каком ЯП?
батч размером 547 записей, блок айдишек брать из расчета чтоб хватило на 42 сек.
13 июл 20, 22:55    [22166888]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2955
chpasha
вадя
по 600 в секунду а таких и не понятно сколько за раз - 2 или 2000
так у тебя может не хватить - из-за пустых мест в id

bigint/bigserial = 9223372036854775807, можешь посчитать на сколько лет хватит ;)


вадя

ну и не известно сколько надо этих id бронировать - по 10000 ? по 20? по 78?

ну сколько нибудь батчей, чтоб не каждые 2 сек. в базу бегать.

У меня была ситуация когда лонг кончился.
А чеб ууиды не генерить? Каков шанс дубль словить?
14 июл 20, 00:06    [22166902]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 10418
andreykaT
У меня была ситуация когда лонг кончился.
Есть лимиты СУБД.
Есть (более практичные) ограничения на размеры хранилища или/и самой базы.
При более-менее разумной стратегии выделения идентификаторов вы не можете исчерпать long (int64) в роли первичного ключа таблицы в базе.
14 июл 20, 05:09    [22166914]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17915
andreykaT
А чеб ууиды не генерить? Каков шанс дубль словить?
вероятность близка к нулю - там используется время.
но это уже строка - со всеми вытекающими
14 июл 20, 05:47    [22166918]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2955
Basil A. Sidorov
andreykaT
У меня была ситуация когда лонг кончился.
Есть лимиты СУБД.
Есть (более практичные) ограничения на размеры хранилища или/и самой базы.
При более-менее разумной стратегии выделения идентификаторов вы не можете исчерпать long (int64) в роли первичного ключа таблицы в базе.

так там была не рдбмс и вообще не база. я к тому что они могут кончиться. тут сверху предлагают кусками драть а потом забывать про них. мне кажется, с таким подходом очень даже можно и упереться. ну конечно надо постараться.
14 июл 20, 09:51    [22166968]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2955
вадя
andreykaT
А чеб ууиды не генерить? Каков шанс дубль словить?
вероятность близка к нулю - там используется время.
но это уже строка - со всеми вытекающими

в контексте перформаса конкретно что?
14 июл 20, 09:51    [22166969]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
mayton
Member

Откуда: loopback
Сообщений: 47970
вадя
andreykaT
А чеб ууиды не генерить? Каков шанс дубль словить?
вероятность близка к нулю - там используется время.
но это уже строка - со всеми вытекающими

Есть несколько независимых алгоритмов генерации UUID. Есть такие которые основаны просто
на SecuredRandom генераторе. И есть такие что включают в себя сочетание timestamp + Mac-адрес
сетевого адаптера который принадлежит серверу сгенерировавшему UUID.

Можно сделать свой собственный генератор который например инкапсулирует номер ноды кластера
которая сгенерила UUID. Это дает также возможность потом трабл-шутить потерянные месседжи.
14 июл 20, 10:48    [22167003]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
chpasha
Member

Откуда:
Сообщений: 9552
andreykaT
тут сверху предлагают кусками драть а потом забывать про них

если сервер у тебя упал, то может кусок id пропасть. у тебя часто сервер падает?

andreykaT
мне кажется, с таким подходом очень даже можно и упереться

не надо кажется, возьми калькулятор в мышку и посчитай исходя из пессимистичного пиковое кол-ва инсертов (можешь для успокоения еще на 10 или 100 умножить). Я подозреваю, что у тебя винты кончатся гораздо раньше ;)
14 июл 20, 11:28    [22167025]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 10418
andreykaT
так там была не рдбмс и вообще не база
"Вообще" я достаточно изобретателен и много чего могу представить/вообразить.
Но, как бы, "в контексте" речь идёт про идентификаторы первичного ключа записи СУБД? Не?
14 июл 20, 12:16    [22167054]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2955
Basil A. Sidorov
andreykaT
так там была не рдбмс и вообще не база
"Вообще" я достаточно изобретателен и много чего могу представить/вообразить.
Но, как бы, "в контексте" речь идёт про идентификаторы первичного ключа записи СУБД? Не?

да. короче. выносим айдихи с базы на среднее звено. понял.
14 июл 20, 12:26    [22167062]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
mayton
Member

Откуда: loopback
Сообщений: 47970
andreykaT
Basil A. Sidorov
пропущено...
"Вообще" я достаточно изобретателен и много чего могу представить/вообразить.
Но, как бы, "в контексте" речь идёт про идентификаторы первичного ключа записи СУБД? Не?

да. короче. выносим айдихи с базы на среднее звено. понял.

Андрейка. Почитай еще про системы которые входят в класс event-store
https://db-engines.com/en/system/Event Store

Может пригодится. У них - максимальная пропускная по количеству вставок.
14 июл 20, 12:59    [22167102]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 327
tpc-c на 32 ядрах 1.6 млн tpc-c транзакций
http://www.tpc.org/tpcc/results/tpcc_result_detail5.asp?id=112092601

у постгрес конечно кривоватая архитектура с вакумом, но миллионы инсертов вытянуть обязан.
14 июл 20, 13:17    [22167118]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Zzz79
Member

Откуда:
Сообщений: 569
andreykaT
Basil A. Sidorov
пропущено...
"Вообще" я достаточно изобретателен и много чего могу представить/вообразить.
Но, как бы, "в контексте" речь идёт про идентификаторы первичного ключа записи СУБД? Не?

да. короче. выносим айдихи с базы на среднее звено. понял.

у тебя id бд чтоль генерит?
вообще давно не встречал я ничего кроме UUID в качестве PK,странно что ты юзаешь что то другое

вообщем как я и другие тут заметили - проблема у тебя не в бд,а в архитектуре и ее реализации

но вообще странно почему ты сам это делаешь если ты сеньер обычный,для этого должны быть архитекторы,лиды и тд
почему на тебе вот это все оказалось- как я понимаю чтобы проектировать приложения нужны специфические знания ,которыми ты не обладаешь
14 июл 20, 22:53    [22167447]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2955
Ты давно не встречал это сколько не встречал?))
15 июл 20, 00:32    [22167476]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 17915
andreykaT,

какие глупые разработчики субд .. до сих пор делают автоинкрементные поля....
15 июл 20, 02:56    [22167497]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 10418
Zzz79
вообще давно не встречал я ничего кроме UUID в качестве PK
"Есть много, друг Горацио, ..."
15 июл 20, 08:53    [22167531]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3625
Zzz79
у тебя id бд чтоль генерит?
вообще давно не встречал я ничего кроме UUID в качестве PK,странно что ты юзаешь что то другое
Стас, вот откуда у тебя такие познания если ты работаешь без году неделю и ничего кроме поделок, которые отдали на откуп бодишопу, не видел? У идентификаторов, которые генерятся при помощи последовательности есть один существенный недостаток (и он не звучит как "Стас не одобряет"), а именно: "из коробки" такие идентификаторы нельзя переносить из одной базы в другую, т.е. флоу вида: тут чет консультанты поделали в тестовой БД, чего-то поназаводили, давайте то что они сделали перетащим в прод, работает так себе, но эта проблема с легкостью решается путем подмешивания информации о среде в сам идентификатор (просто берем и старшие биты резервируем под идентификатор системы), даже более того, в идентификатор можно подмешивать тип сущности и получить возможность обращаться к сущностям из вне без указания типа сущности, и при этом "число" останется "числом", а с ууидами ты такое уже не провернешь. Кроме этого с рандомными PK существуют проблемы в базах (в особенности в которых принято кластеризовывать данные в таблицах на основе PK: MSSQL и InnoDB, насколько мне известно) - в каких-то случаях это хорошо (нет горячих блоков в индексе и таблице), а в каких-то наоборот плохо - на больших вставках нужно много IO (вот здесь заливка батчами реально всосет если РК - это uuid).
15 июл 20, 08:58    [22167533]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Zzz79
Member

Откуда:
Сообщений: 569
andreykaT
Ты давно не встречал это сколько не встречал?))

если честно вообще не встречал,после того как стал работать на реальных проектах.
Long и автоинкремент у меня был в пет проектах только.

Я против Long ничего не имею ,но вроде как твоя проблема бы решилась если бы ты генерил сам Id - и писал в бд уже имя на руках Id,тогда бы тебе хватило обычной кафки без каких то доп манипуляций .

А что ты используешь в качестве ORM или у тебя чистый jdbc?
15 июл 20, 10:30    [22167595]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Zzz79
Member

Откуда:
Сообщений: 569
Андрей Панфилов
ничего кроме поделок, которые отдали на откуп бодишопу, не видел?

Ахаха блин прям в точку попал) без сарказма)
15 июл 20, 10:38    [22167603]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
забыл ник
Member

Откуда:
Сообщений: 3370
Zzz79

А что ты используешь в качестве ORM или у тебя чистый jdbc?

он уже раз 10 сказал что используется слик. Ты спеки также внимательно читаешь?
15 июл 20, 12:16    [22167689]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Zzz79
Member

Откуда:
Сообщений: 569
забыл ник
Zzz79

А что ты используешь в качестве ORM или у тебя чистый jdbc?

он уже раз 10 сказал что используется слик. Ты спеки также внимательно читаешь?

а какое отношение имеет слик к java?)
это же для скалы ORM
15 июл 20, 12:48    [22167738]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
забыл ник
Member

Откуда:
Сообщений: 3370
Zzz79
забыл ник
пропущено...

он уже раз 10 сказал что используется слик. Ты спеки также внимательно читаешь?

а какое отношение имеет слик к java?)
это же для скалы ORM

а какое отношение этот топик имеет к java?
15 июл 20, 13:13    [22167767]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2955
вадя
andreykaT,

какие глупые разработчики субд .. до сих пор делают автоинкрементные поля....

Вот. Вадя говорит что с выдачи айди лонговых в бд уходить не надо. Зизи. Учись. Правда Вадя - консерватор. не уверен насколько это консервативное решение юзать айди от базы. для меня это - лишняя депенденси.

Кстати озвучил варианты самым главным конечно же нанятым людям в роли архитекторов они прям кивнули головой за кафку и развязку от базы. хотя я теперь топлю за мультиплексор
15 июл 20, 19:51    [22168155]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 7 [8] 9   вперед  Ctrl      все
Все форумы / Java Ответить