Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Вопрос-Ответ Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
witte
Member

Откуда:
Сообщений: 431
Андрей Юниор

Непонятно, причём тут триггеры и другие обработки? Вставка в MQ - это добавить сообщение и больше ничего - или что ещё происходит?

На локальную очередь в MQ тоже триггер можно повесить. Например при достижении определённой глубины очереди запустить сервер, который эти сообщения начнёт обрабатывать. И MQ умеет контролировать состояние серверов: например запускать их вместе со стартом Queue Manager если нужно и следить за состоянием (есть такой pid или нет).
5 авг 20, 16:23    [22178090]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
witte, по поводу MQ. Вы взяли коммерческий дорогой вариант очереди который не все форумские
читатели себе позволяют. Если вы со мной не согласны - мы сделаем голосование по
MQ-системам и решим какую долю IBM-MQ занимает от общего числа инсталляций.
5 авг 20, 18:56    [22178169]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
witte

Если сообщение попадает в очередь, помеченную как персистентная или на сообщении явно выставить свойство персистентности, то оно попадает в транзакционный лог и при рестарте, если был коммит, будет восстановлено автоматически. Это ничем не отличается от рестарта того же Oracle RDBMS. Это работает даже на циркулярных логах в MQ, не говоря уже о линейных.

Я думаю что для вас имеет смысл посмотреть доклад Алименкова, ставший уже нетленкой.

+
5 авг 20, 18:58    [22178170]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
witte
Member

Откуда:
Сообщений: 431
mayton
witte, по поводу MQ. Вы взяли коммерческий дорогой вариант очереди который не все форумские
читатели себе позволяют. Если вы со мной не согласны - мы сделаем голосование по
MQ-системам и решим какую долю IBM-MQ занимает от общего числа инсталляций.

Стоп, какие доли рынка, какие деления на коммерческий / не коммерческий продукт? Никаких вводных на эту тему не было, не надо уводить в сторону. Ну или тогда пишите тоже с конкретикой: продукт Х - жалкое поделие, так как теряет персистентные сообщения. Ваше исходное сообщение к конкретно какому продукту относилось?

PS: Я себе слабо представляю что писатели открытых продуктов не знают как писать в транзакционные логи и не умеют восстанавливать очередь накатом из бэкапа. OpenMQ же вполне себе умеет не терять сообщения при должном подходе.
5 авг 20, 19:23    [22178180]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
witte
Member

Откуда:
Сообщений: 431
mayton
witte

Если сообщение попадает в очередь, помеченную как персистентная или на сообщении явно выставить свойство персистентности, то оно попадает в транзакционный лог и при рестарте, если был коммит, будет восстановлено автоматически. Это ничем не отличается от рестарта того же Oracle RDBMS. Это работает даже на циркулярных логах в MQ, не говоря уже о линейных.

Я думаю что для вас имеет смысл посмотреть доклад Алименкова, ставший уже нетленкой.

+

Что там, тезисно, и какие противоречия Вы нашли с тем что было процитировано, а то тратить час своего времени как-то лень (я java занимаюсь очень факультативно)

PS: MQ - не тождественно JMS.
5 авг 20, 19:33    [22178184]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
witte
mayton
witte, по поводу MQ. Вы взяли коммерческий дорогой вариант очереди который не все форумские
читатели себе позволяют. Если вы со мной не согласны - мы сделаем голосование по
MQ-системам и решим какую долю IBM-MQ занимает от общего числа инсталляций.

Стоп, какие доли рынка, какие деления на коммерческий / не коммерческий продукт? Никаких вводных на эту тему не было, не надо уводить в сторону. Ну или тогда пишите тоже с конкретикой: продукт Х - жалкое поделие, так как теряет персистентные сообщения. Ваше исходное сообщение к конкретно какому продукту относилось?

PS: Я себе слабо представляю что писатели открытых продуктов не знают как писать в транзакционные логи и не умеют восстанавливать очередь накатом из бэкапа. OpenMQ же вполне себе умеет не терять сообщения при должном подходе.

Я предлагаю - голосование.

Вы вышли с тезисом что IBM-MQ покрывает все задачи. Я утверждаю что это не так. IBM-MQ это нишевый продукт.
Его ставят - только те кто уже плотно сидит на игле IBM-лицензий. Перформанс его - тоже под вопросом.
Месседжи он - тоже теряет.
5 авг 20, 20:06    [22178192]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
witte
mayton
пропущено...

Я думаю что для вас имеет смысл посмотреть доклад Алименкова, ставший уже нетленкой.

+

Что там, тезисно, и какие противоречия Вы нашли с тем что было процитировано, а то тратить час своего времени как-то лень (я java занимаюсь очень факультативно)

PS: MQ - не тождественно JMS.

Не буду тезисно. Смотрите. Соглашайтесь или не соглашайтесь. Но я не буду пересказывать.
5 авг 20, 20:07    [22178193]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
witte
Member

Откуда:
Сообщений: 431
mayton

Я предлагаю - голосование.

Вы уже второй раз пытаетесь увести тему в сторону через голосование. У Вас своих тезисов нет для оппонирования?
mayton
Вы вышли с тезисом что IBM-MQ покрывает все задачи.

Нет, я вышел с абсолютно другим тезисом: на примере IBM MQ я опровергнул Ваши высказывания. Вместо него мог стоять и другой продукт, не суть важно.
mayton
Я утверждаю что это не так. IBM-MQ это нишевый продукт.
Его ставят - только те кто уже плотно сидит на игле IBM-лицензий.

IBM MQ - это message-orienetd middleware? Да. Тогда при чём здесь какая-то притянутая нишевость?
Меня абсолютно не волнует его market share. Если Вас это интересует - голосуйте, но это абсолютно не аргумент.
mayton
Перформанс его - тоже под вопросом.
Месседжи он - тоже теряет.

Вы с ним вообще работали в высоко нагруженных системах? Где?
Я Вам открою страшную тайну: перформанс того же Oracle RDBMS тоже под вопросом. И транзакции он тоже умеет терять. Для того чтобы вопросов не было надо всего лишь планировать (DR/HA в том числе), подписывать соответствующий SLA, с учётом того сколько денег дали, иметь адекватную архитектуру, уметь использовать (программировать в том числе) и поддерживать/мониторить.

Ещё раз повторю вопрос по существу: на основании какого продукта были сделаны выводы, описанные в Вашем первом посте этого топика?
5 авг 20, 20:34    [22178200]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
witte

Нет, я вышел с абсолютно другим тезисом: на примере IBM MQ я опровергнул Ваши высказывания. Вместо него мог стоять и другой продукт, не суть важно.

Я еще раз повторю медленно. Большинство систем класса MQ (message-queues). В дефолтной
конфигурации. Имеют свойство терять сообщения. Это я видел на своём опыте. Это связано
с их дефолтной конфигурацией. Их никто не переконфигурирует обычно ибо всем пофиг.
Их никто не тюнит потому что всем пофиг. И IBM-MQ обычно НЕ покумают ибо не хотят
платить лишее. Специалистов по конфигурированию Apache-Active-MQ, Rabbit-MQ
и прочее *MQ обычно мало. Очень мало. Или даже ничтожно мало.
5 авг 20, 20:40    [22178202]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
witte
Member

Откуда:
Сообщений: 431
mayton
witte

Нет, я вышел с абсолютно другим тезисом: на примере IBM MQ я опровергнул Ваши высказывания. Вместо него мог стоять и другой продукт, не суть важно.

Я еще раз повторю медленно. Большинство систем класса MQ (message-queues). В дефолтной
конфигурации. Имеют свойство терять сообщения. Это я видел на своём опыте. Это связано
с их дефолтной конфигурацией. Их никто не переконфигурирует обычно ибо всем пофиг.
Их никто не тюнит потому что всем пофиг. И IBM-MQ обычно НЕ покумают ибо не хотят
платить лишее. Специалистов по конфигурированию Apache-Active-MQ, Rabbit-MQ
и прочее *MQ обычно мало. Очень мало. Или даже ничтожно мало.

Ну так бы и сказали: на моих проектах всем было пофиг на данные. Это короче и абстрактный MQ здесь не причём.
Дожили, оказывается поставить свойство персистентности на очереди или явно указать на сообщении - это теперь ракетная наука. Вопрос о DR/HA пока оставим за скобками.
Это говорит только о качестве специалистов и не более. Ну или о специфике Ваших проектов, мне сложно судить.
На моих проектах таких проблем не возникало. Ибо стоимость потерянного сообщения была высока и было не пофиг. И администраторы тоже находились.

Ну так и что там с Вашим опытом IBM MQ? Откуда тезисы про проблемы с производительностью и потерей персистентных сообщений? Я не защищаю именно этот продукт, мне просто интересно.
5 авг 20, 21:03    [22178209]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
witte
mayton
пропущено...

Я еще раз повторю медленно. Большинство систем класса MQ (message-queues). В дефолтной
конфигурации. Имеют свойство терять сообщения. Это я видел на своём опыте. Это связано
с их дефолтной конфигурацией. Их никто не переконфигурирует обычно ибо всем пофиг.
Их никто не тюнит потому что всем пофиг. И IBM-MQ обычно НЕ покумают ибо не хотят
платить лишее. Специалистов по конфигурированию Apache-Active-MQ, Rabbit-MQ
и прочее *MQ обычно мало. Очень мало. Или даже ничтожно мало.

Ну так бы и сказали: на моих проектах всем было пофиг на данные. Это короче и абстрактный MQ здесь не причём.
Дожили, оказывается поставить свойство персистентности на очереди или явно указать на сообщении - это теперь ракетная наука. Вопрос о DR/HA пока оставим за скобками.
Это говорит только о качестве специалистов и не более. Ну или о специфике Ваших проектов, мне сложно судить.
На моих проектах таких проблем не возникало. Ибо стоимость потерянного сообщения была высока и было не пофиг. И администраторы тоже находились.

Ну так и что там с Вашим опытом IBM MQ? Откуда тезисы про проблемы с производительностью и потерей персистентных сообщений? Я не защищаю именно этот продукт, мне просто интересно.

Голосуем? Я не утверждаю что мой опыт репрезентативен. Я просто говорю то что видел.
5 авг 20, 21:28    [22178214]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
witte
Member

Откуда:
Сообщений: 431
mayton
witte
пропущено...

Ну так бы и сказали: на моих проектах всем было пофиг на данные. Это короче и абстрактный MQ здесь не причём.
Дожили, оказывается поставить свойство персистентности на очереди или явно указать на сообщении - это теперь ракетная наука. Вопрос о DR/HA пока оставим за скобками.
Это говорит только о качестве специалистов и не более. Ну или о специфике Ваших проектов, мне сложно судить.
На моих проектах таких проблем не возникало. Ибо стоимость потерянного сообщения была высока и было не пофиг. И администраторы тоже находились.

Ну так и что там с Вашим опытом IBM MQ? Откуда тезисы про проблемы с производительностью и потерей персистентных сообщений? Я не защищаю именно этот продукт, мне просто интересно.

Голосуем? Я не утверждаю что мой опыт репрезентативен. Я просто говорю то что видел.

За что голосуем? За то что если на данные пофиг, то вопрос их потери - это только вопрос времени и применяемый инструмент тут уже и не важен? Да, я согласен с этим тезисом.
5 авг 20, 21:33    [22178217]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
Anti_Hacker
Member

Откуда: Латвия, Рига
Сообщений: 287
Все очень просто, мир девелопмента ушел в микросервисную архитектуру. Если к примеру пришел новый заказ, Sales система делает делает сообщение и вбрасывает что мол заказан создант и что система со своей задачей справилась. В тоже время к примеру есть два подписщика на это сообщение: Invoice система и Notification система. Один модуль создаст накладную, другой отправить сообщение клиенту (мейд/смс) и так далее.. У каждого микросервиса как правило своя база.
6 авг 20, 08:00    [22178288]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 65894
Блог
Anti_Hacker
Все очень просто, мир девелопмента ушел в микросервисную архитектуру.

Каждый кулик считает своё болото миром девелопмента...
6 авг 20, 09:35    [22178324]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53400
witte
Ну так бы и сказали: на моих проектах всем было пофиг на данные. Это короче и абстрактный MQ здесь не причём.

Вообще-то при чём. В очередях нет данных. Они для запросов.

И вот, кстати, очередной пациент с очередью в БД: https://www.sql.ru/forum/1328055/optimizaciya-parallelnoy-vyborki
Идите, расскажите ему как это делается правильно.
6 авг 20, 14:12    [22178583]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
witte
Member

Откуда:
Сообщений: 431
Dimitry Sibiryakov
witte
Ну так бы и сказали: на моих проектах всем было пофиг на данные. Это короче и абстрактный MQ здесь не причём.

Вообще-то при чём. В очередях нет данных. Они для запросов.

О как, а application data и доп. свойства в сообщении тогда это что? Не данные, которые на другом конце будут обработаны?
6 авг 20, 14:34    [22178609]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53400
witte
а application data и доп. свойства в сообщении тогда это что?

Мусор, который не жалко потерять.
7 авг 20, 14:08    [22179153]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
witte
Member

Откуда:
Сообщений: 431
Dimitry Sibiryakov
witte
а application data и доп. свойства в сообщении тогда это что?

Мусор, который не жалко потерять.

Банк, отсылающий в очередь заявку на одобрение кредита в скоринговую систему и ожидающий ответа, почему-то думает совсем иначе. А так-то да, во всяких SWIFT-ах вообще модно чатики из мусорных сообщений устраивать. А персистентность сообщений вообще трусы придумали.

mayton,
Оказывается Ваш опыт вполне репрезентативен. Вот ещё один пример.

Сообщение было отредактировано: 7 авг 20, 14:39
7 авг 20, 14:39    [22179180]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53400
witte
Банк, отсылающий в очередь заявку на одобрение кредита в скоринговую систему и ожидающий ответа, почему-то думает совсем иначе.

Они просто оптимисты. Если нужна надёжность, то данные в БД - отдельно, заявка на их обработку в очереди - отдельно.
8 авг 20, 13:54    [22179540]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
hVostt
Member

Откуда:
Сообщений: 19317
Забыли, что очереди это не только СУБД, это ещё и логика.

На сообщение, помещённое в очередь может в итоге быть запись/изменение в нескольких СУБД, в нескольких совершенно разных приложений, и выполнение определённой логики.

Как-то странно в этом ключе вообще обсуждать Очередь vs СУБД.

Я предлагаю на этой волне обсудить что лучше = круглое или зелёное.
Аргументы в студию!
8 авг 20, 15:42    [22179568]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
tchingiz
Member

Откуда:
Сообщений: 39027
hVostt


Я предлагаю на этой волне обсудить что лучше = круглое или зелёное.
Аргументы в студию!

8 авг 20, 23:24    [22179687]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
witte
Member

Откуда:
Сообщений: 431
Dimitry Sibiryakov
witte
Банк, отсылающий в очередь заявку на одобрение кредита в скоринговую систему и ожидающий ответа, почему-то думает совсем иначе.

Они просто оптимисты. Если нужна надёжность, то данные в БД - отдельно, заявка на их обработку в очереди - отдельно.

Ну и почему же персистентное сообщение в очереди MQ - это ненадёжно? На примере того же запроса на обработку в скоринговой системе, пожалуйста. А то как-то голословно.
9 авг 20, 12:13    [22179771]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
kolobok0
Member

Откуда:
Сообщений: 2180
Anti_Hacker
...микросервисную архитектуру. Если к примеру ....


я бы сказал немного по другому.
имхо = MQ подход (не скажу что появился, хотя по ощущениям это так) очень хорошо решает задачи для микросервисной архитектуры. И да, она более продвинутая чем монолитная КС система. Заковыка как правило начинается там, где программисты которые вчера тужились писать серваки - пытаются писать микросервисы.

(круглый)
ЗЫ
Не факт что бд в каждом микросервисе - это не тот же самый монолит :) с точки зрения фукнциональной разбивки это уже монолит...
9 авг 20, 12:16    [22179772]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
kolobok0
Member

Откуда:
Сообщений: 2180
witte
...почему же персистентное сообщение в очереди MQ - это ненадёжно?....


это не то что ненадёжно, просто очереди оно для другого. Есть конечно-же механизмы досылки и качества - но парадигма лежала не совсем в векторе обязательной доставки. имхо конечно же...


(круглый)
9 авг 20, 12:18    [22179773]     Ответить | Цитировать Сообщить модератору
 Re: Поясните, в чем преимущество серверов очередей перед базой данных  [new]
witte
Member

Откуда:
Сообщений: 431
kolobok0
witte
...почему же персистентное сообщение в очереди MQ - это ненадёжно?....


это не то что ненадёжно, просто очереди оно для другого. Есть конечно-же механизмы досылки и качества - но парадигма лежала не совсем в векторе обязательной доставки. имхо конечно же...

Вопрос был не о том для чего очереди а именно о надёжности. Может MQ обеспечить восстановление очереди и сообщение после media failure или нет? Может MQ обеспечить гарантированную доставку сообщения или нет?
А то коллега утверждает что в банках сплошные оптимисты работают.
9 авг 20, 12:37    [22179778]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / Вопрос-Ответ Ответить