Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 [6] 7 8 9   вперед  Ctrl      все
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2959
mayton
andreykaT
пропущено...

1. а кто тут сеньор из епам?
2. гагой смешной чувак из твери с зарплатой в 30 тыщ.
3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз.

Эй. А вот с этого момента - стоп! Обсуждать личности и их зарплаты мы не будем.

ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к?
13 июл 20, 18:38    [22166756]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2959
crutchmaster
asv79
дядь ты вообще видимо не понимаешь что такое каффка) каким образом там что упрется в базу то?

Да, ты всё правильно понял, там индекс раздаёт ид из базы => все ждут базу. Если у него будет кафка, то это ничего не изменит, все также будут ждать базу, просто еще кафка сбоку.

если ид генерить не на уровне базы. я об этом. т.е. тебе ид особо и не нужен по факту становится и ответ базы в разумных пределах уже роли играть не будет. главное чтоб он был в принципе.
13 июл 20, 18:39    [22166758]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3625
asv79

ну по итогу ты так и не ответил - поддерживается ли это жпа)
то что компромис между потерей данных и производительностью это и так понятно
тут достаточно сложно вопрошающему что-либо отвечать, если он откровенно отвергает чтение документации. Со стороны БД контракт "commit" выглядит примерно так: если клиент выдал "коммит" и ему ответили "ок", то это значит, то в тот же момент можно БД жестко выключить (прямо питание вырубить), потом включить и данные клиента останутся на месте (естественно без учета влияния конкурирующих транзакций). Ни JDBC, ни JOOQ никаким образом на этот контракт не влияют. В БД исполнение этого контракта просто нереально дорого - что Oracle, что MSSQL, что PostgreSQL приходится писать данные не только в файлики БД, а еще в redo, transaction log, wal (в зависимости от реализации), причем запись происходит последовательно, в один поток - от этого факта никуда не уйти.
13 июл 20, 18:39    [22166759]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
asv79
Member

Откуда: Тверь
Сообщений: 3090
crutchmaster
asv79
дядь ты вообще видимо не понимаешь что такое каффка) каким образом там что упрется в базу то?

Да, ты всё правильно понял, там индекс раздаёт ид из базы => все ждут базу. Если у него будет кафка, то это ничего не изменит, все также будут ждать базу, просто еще кафка сбоку.
.

мы давно поняли проблему автора,в его случае вариком был бы батчинг ,у нас такое стоит на проде и обрабатываются в 10 раз болье запросов- но на счет того чтобы сразу доствать id я не уверен,но без очередей кладем)

проблема автора в неправильной архитектуре приложения - так как если бы приложение было построено правильно- такого бы просто не наступило.Любое решение будет по сути костылем.Ну а там далее бомжи из финки подлатают где надо)
13 июл 20, 18:40    [22166760]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2959
Андрей Панфилов
asv79

ну по итогу ты так и не ответил - поддерживается ли это жпа)
то что компромис между потерей данных и производительностью это и так понятно
тут достаточно сложно вопрошающему что-либо отвечать, если он откровенно отвергает чтение документации. Со стороны БД контракт "commit" выглядит примерно так: если клиент выдал "коммит" и ему ответили "ок", то это значит, то в тот же момент можно БД жестко выключить (прямо питание вырубить), потом включить и данные клиента останутся на месте (естественно без учета влияния конкурирующих транзакций). Ни JDBC, ни JOOQ никаким образом на этот контракт не влияют. В БД исполнение этого контракта просто нереально дорого - что Oracle, что MSSQL, что PostgreSQL приходится писать данные не только в файлики БД, а еще в redo, transaction log, wal (в зависимости от реализации), причем запись происходит последовательно, в один поток - от этого факта никуда не уйти.

напомню, моя цель - отвязаться от базы в принципе. забыть про нее. представить это отдельным от основного функционала сервисом. понизить уровень ее важности и влияния. пусть она пишет как хочет и сколько хочет. главное не влияет на основные процессы.
13 июл 20, 18:42    [22166762]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
asv79
Member

Откуда: Тверь
Сообщений: 3090
andreykaT
mayton
пропущено...

Эй. А вот с этого момента - стоп! Обсуждать личности и их зарплаты мы не будем.

ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к?

слушай ты сам про бомжей написал)я тебя лишь поддержал)
про меня то что говорить я общепризнанный тверской it бомжара)
13 июл 20, 18:42    [22166763]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
asv79
Member

Откуда: Тверь
Сообщений: 3090
Андрей Панфилов
asv79

ну по итогу ты так и не ответил - поддерживается ли это жпа)
то что компромис между потерей данных и производительностью это и так понятно
тут достаточно сложно вопрошающему что-либо отвечать, если он откровенно отвергает чтение документации. Со стороны БД контракт "commit" выглядит примерно так: если клиент выдал "коммит" и ему ответили "ок", то это значит, то в тот же момент можно БД жестко выключить (прямо питание вырубить), потом включить и данные клиента останутся на месте (естественно без учета влияния конкурирующих транзакций). Ни JDBC, ни JOOQ никаким образом на этот контракт не влияют. В БД исполнение этого контракта просто нереально дорого - что Oracle, что MSSQL, что PostgreSQL приходится писать данные не только в файлики БД, а еще в redo, transaction log, wal (в зависимости от реализации), причем запись происходит последовательно, в один поток - от этого факта никуда не уйти.

ну ты бы так и сказал сразу) что без разницы ждбс или жук- можно отключиь синхронный комит и база перестанет падать на 600 инстертах
13 июл 20, 18:44    [22166765]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8775
andreykaT

3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз.


в config.sys добавить:

fast_insert = true
no_lock_mode = true

в autoexec.bat

smartdrv.exe c+
13 июл 20, 18:46    [22166766]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2959
asv79
andreykaT
пропущено...

ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к?

слушай ты сам про бомжей написал)я тебя лишь поддержал)
про меня то что говорить я общепризнанный тверской it бомжара)

у тебя всё впереди.
13 июл 20, 18:47    [22166767]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2959
Leonid Kudryavtsev
andreykaT

3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз.


в config.sys добавить:

fast_insert = true
no_lock_mode = true

в autoexec.bat

smartdrv.exe c+

што это?
13 июл 20, 18:47    [22166768]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3625
crutchmaster
Андрей Панфилов
(пользователи MS Windows тут особо рады кмк)

В венде есть симлинки и хардлинки, я не знаю, насчёт ограничений, правда.
есть, только где-то пишут сразу что "вот тут есть хрень, которую нужно вынести куда-то в другое место", а где-то "ну вы там как-то поприседайте, авось получится".
Я вот совсем недавно с кафкой столкнулся - они оказывается наркоманы еще те:

https://stackoverflow.com/questions/40369238/which-directory-does-apache-kafka-store-the-data-in-broker-nodes
The default log.dir is /tmp/kafka-logs which you may want to change in case your OS has a /tmp directory cleaner.


т.е. вот *удакам не то что не хватило мозгов написать пару строк кода, что если у них log.dir смотрит в /tmp, то при запуске сразу слать всех нахер, так они еще и расположение по-умолчанию умудрились в /tmp вкорячить.
13 июл 20, 18:48    [22166769]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
asv79
Member

Откуда: Тверь
Сообщений: 3090
andreykaT

напомню, моя цель - отвязаться от базы в принципе. забыть про нее. представить это отдельным от основного функционала сервисом. понизить уровень ее важности и влияния. пусть она пишет как хочет и сколько хочет. главное не влияет на основные процессы.

если ты хочешь отвязаться от бд,это жпа и вопрос твой тогда немного по другому должен был звучать

но вообще очень странно - я еще раз повторю у нас есть сервис который кушает до 6000 рестов - все это успешно кладется в бд с обыычнм хибером и батчингом
вообще я у коллег это спросил - они удивились такому вопросу
13 июл 20, 18:49    [22166770]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
asv79
Member

Откуда: Тверь
Сообщений: 3090
[quot Андрей Панфилов#22166769]
crutchmaster
пропущено...

Я вот совсем недавно с кафкой столкнулся - они оказывается наркоманы еще те:

что именно тебя в ней не устроило)
13 июл 20, 18:53    [22166771]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1492
asv79
проблема автора в неправильной архитектуре приложения - так как если бы приложение было построено правильно- такого бы просто не наступило.

Верно подмечено, кэп.

asv79
мы давно поняли проблему автора,в его случае вариком был бы батчинг ,у нас такое стоит на проде и обрабатываются в 10 раз болье запросов

Да не факт. Без кода перед глазами сказать сложно.
13 июл 20, 18:53    [22166772]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8775
Андрей Панфилов

В БД исполнение этого контракта просто нереально дорого - что Oracle, что MSSQL, что PostgreSQL

Протестую насчет слов "нереально дорого"

AFAIK в Oracle и в PostgreSQL запись идет только в redo.log и то, чисто _последовательно_. Т.е. на офисном HDD можно вполне получать сотни мегабайт редо логов в секунду. Разумеется, теоретически и если не будет конкуренции и дергания головок. Те же самые грязные блоки вполне остаются грязными и на диск скидываются по остаточному принципу (в фоне), т.е. достаточно хорошо буферизуются и кешируются в buffer cache.

То, что действительно "нереально дорого", это переключение redo log'ов и checkpoint (в терминологии Oracle 8i), когда состояние нужно жестко фиксировать на диске и процесс может растянутся на значительное время: сбросить все грязные блоки на диск, переключить redo log, начать архивирование предыдущего редо лог и так далее

imho & afaik
13 июл 20, 18:57    [22166773]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3625
Leonid Kudryavtsev
AFAIK в Oracle и в PostgreSQL запись идет только в redo.log и то, чисто _последовательно_. Т.е. на офисном HDD можно вполне получать сотни мегабайт редо логов в секунду. Разумеется, теоретически и если не будет конкуренции и дергания головок. Те же самые грязные блоки вполне остаются грязными и на диск скидываются по остаточному принципу (в фоне), т.е. достаточно хорошо буферизуются и кешируются в buffer cache.
так дело же не в мегабайтах, а в частоте вызовов (мегабайты мы можем и в кеш писать, а как только мы захотели - будь добр все добро слить на диск). лет так десять назад SUN (или уже Oracle) активно пиарили свои поделки-процессоры TХУЕМОЕ1000500, у нас был заказчик, который повелся на эту маркетинговую херню и где-то какие-то TXXXX у себя раскатал - у него тупо процессор не мог мог с потоком redo справиться.

Сообщение было отредактировано: 13 июл 20, 19:06
13 июл 20, 19:08    [22166778]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
asv79
Member

Откуда: Тверь
Сообщений: 3090
andreykaT

у тебя всё впереди.

я не хочу в финку и не хочу в епам)
в финку не хочу ,потому что там холодно и куча алкашей- по сути я и так сейчас в финке)

а в епам не хочу - потому что против изучения английского говно языка- мой мозг не воспринимает это убожество и никогда не воспримет
если у вас есть иностранные клиенты потрудесь найти переводчика -если у вас нет денег на переводчика - наверное вам не нужны иностранные заказчики

я до сих пор не понимаю харазмента прогера по языковому барьеру
недавно собесился в екб- заказчики китай
собес был с китайцами + переводчик и я прошел)
так что засуньте вы себе свой инглишь подальше и поглубже .
а тех литература успешно переводится гугл ботом давно
в 2020 году давно уже пора прекрать вот это все что касается языка- пусть человек говорит и воспринимает инфу на том языке- на котором ему удобно
в этом плане епам конечно остал от других бодишопов
13 июл 20, 19:08    [22166779]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 10418
andreykaT
я вот не хочу например возиться с оптимизацией. так как это надо быть на нее сильно заточенным. и заниматься только ей. нюансов не очень много но где их взять и как набить я хз да мне и не интересно. а тыкать пальцем в небо можно до бесконечности
Ну так и пройдите лесом в пешее эротическое путешествие.
Вам русским по белому сказали: "Убирайте конкурентность". И даже добавили: "Сделайте мультиплексор".
Не хочется - ну так проблемы шерифа индейцев не колышат.
13 июл 20, 19:14    [22166781]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1492
asv79
в 2020 году давно уже пора прекрать вот это все что касается языка- пусть человек говорит и воспринимает инфу на том языке- на котором ему удобно

Не вопрос. Оплачивай переводчика.
13 июл 20, 19:16    [22166782]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
asv79
Member

Откуда: Тверь
Сообщений: 3090
епам вот это такое

человек собесер - спрашивает меня можно ли юзать трай без кетч) я говорю можно ,но ты назови юзкейс)
и он не смог)тоесть это сеньер (наверняка) который не знает что можно юзать трай файнали)
но зато он по англ говори быстро с акцентом мутко)
вот такие люди там потом роняют систему осаго)
ну как бы руководство выводов не сделало- тех знания 0 - главно шпрехень зе инглешь)
13 июл 20, 19:18    [22166786]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
asv79
Member

Откуда: Тверь
Сообщений: 3090
crutchmaster
asv79
в 2020 году давно уже пора прекрать вот это все что касается языка- пусть человек говорит и воспринимает инфу на том языке- на котором ему удобно

Не вопрос. Оплачивай переводчика.

сейчас практически все компании их имеют) у вас нет? берите дураков из епам- они круто базарят по англ) но нули во всем остальном)
13 июл 20, 19:19    [22166789]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1492
asv79
у вас нет?

У меня обычная гос шаражка и переводчик тут нужен только с бухгалтерского.

asv79
сейчас практически все компании их имеют)

Инглиш нужен не за этим, а чтобы в перспективе свалить с бодишопа и работать с заказчиками напрямую без кишечных паразитов.
13 июл 20, 19:22    [22166790]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
asv79
Member

Откуда: Тверь
Сообщений: 3090
andreykaT

ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к?

я выхожу в эту пятницу на 120 мидлом+ квартальная премия
так что вроде я и не бомж уже) осталось 3 месяца пройти испыталки)
13 июл 20, 19:23    [22166791]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2959
Basil A. Sidorov
andreykaT
я вот не хочу например возиться с оптимизацией. так как это надо быть на нее сильно заточенным. и заниматься только ей. нюансов не очень много но где их взять и как набить я хз да мне и не интересно. а тыкать пальцем в небо можно до бесконечности
Ну так и пройдите лесом в пешее эротическое путешествие.
Вам русским по белому сказали: "Убирайте конкурентность". И даже добавили: "Сделайте мультиплексор".
Не хочется - ну так проблемы шерифа индейцев не колышат.

у меня прилетело ну пусть 100 запросов. мне надо их собрать в кучу и сделать батч. мне надо сохранить батч. мне надо из батча выдрать айди и какой то признак чтоб понять кому он принадлежит. мне надо это вернуть клиенту.

самый простой вариант что? правильно кэп, очередь! очередь с одним кансамером. выгребаем из нее с периодом икс то что пришло и кидаем в базу. полученное из базы возвращаем назад по другой очереди и раскидываем клиентам.

или что?
13 июл 20, 19:23    [22166792]     Ответить | Цитировать Сообщить модератору
 Re: акка или кафка?  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 2959
asv79
andreykaT

ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к?

я выхожу в эту пятницу на 120 мидлом+ квартальная премия
так что вроде я и не бомж уже) осталось 3 месяца пройти испыталки)

молодец. а ты боялся и говорил что твой потолок 60. или че там. я тебе говорю - бей на 150. ну ок. 120 это хотя бы не 60 и даже не 30 :)
13 июл 20, 19:24    [22166793]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 [6] 7 8 9   вперед  Ctrl      все
Все форумы / Java Ответить