Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Микросервисы: на каждый сервис своя БД  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1153
И снова привет!

Изучение микросервисов продолжается, и тема эта покрыта миллионами вопросов.

Кто имел опыт проектов с использованием МС и таки там была реализация "на каждый сервис своя БД" ? (БЕЗ ИСПОЛЬЗОВАНИЯ ПРОКСИРУЮЩИХ МЕХАНИЗМОВ СОЕДИНЯЮЩИХ БД)

Интересует такой вот момент - когда используем одну БД, то данные в ней согласованы, например сохранение вот таких цепочек:
Цепочка 1
Клиент -> Заказ -> Изделия -> Позиции заказа -> Детали позиций заказ -> и т.д. до конца.

Цепочка 2
Клиент -> Заказ -> Услуги -> Доставка -> Водители и Транспорт -> и т.д. до конца.

Итого:
1) мы можем одним запросом из базы выбрать всю информацию по клиенту. (легкость сохранности, целостности и получения всей инфы)
2) если мы грохаем клиента, то каскадно удаляется вся информация. (нет "мусора")

Я так понимаю, что должен быть механизм, который:
1) находит несвязанные данные
2) убирает мусор

Но как же на самом деле решается вопрос целостности информации в распределенных БД, которые закреплены за своим микросервисом?
26 апр 19, 11:39    [21872402]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38439
Imperous,
А где было требование на МС своя бд?
26 апр 19, 11:54    [21872422]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1153
Petro123
Imperous,
А где было требование на МС своя бд?

Требования как такого не видел, но читая разные доки с примерами, все как один пишут что реализация была именно такая - на каждый сервис своя БД.
И в этом что-то есть, некоторая независимость.
Не будем сейчас брать в учет микросервисы, которые нужны для балансировки нагрузки, и выполняющие одинаковые функции.
26 апр 19, 12:00    [21872435]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1153
Вот тут например пишут:
автор
Децентрализация данных

Еще один из важнейших элементов в парадигме микросервисов.
Каждому микросервису по своей базе данных!
26 апр 19, 12:02    [21872442]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38439
Imperous,
Слушай, ты журналист для интервью или программист?
Тут программисты в ветке.
Ты плодишь темы без всякого смысла и ЗАДАЧИ.
Прошлую тему про МС чем ты подытожил?
Дай ссылку.
А твой код позже попросим.
26 апр 19, 12:03    [21872448]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
забыл ник
Member

Откуда:
Сообщений: 2676
Imperous
И снова привет!

Изучение микросервисов продолжается, и тема эта покрыта миллионами вопросов.

Привет! Похвально, но пока у тебя очень слабое понятие о МС. Самое главное что тебе надо понять, что разбиение на микросервисы должно делаться не просто для того чтобы разбить, а чтбы оно решало бизнес-проблему или давало некие другие преимущества. Если данные сильно зависимы - это должен быть один микросевис, и храниться они должны в одной базе, вот и все.
Есть два варианта, когда такое разбиение все же имеет смысл -
1) Данные не умещаются на одном сервере\базе и нужно их масштабировать\оптимизировать. В этом случае, как и при всех распределенных решениях мы немного теряем в consistency, т.е она не будет гарантированной.
2) Когда допустима задержка времени и моментальная консистентность данных не критична, сойдет и eventual.

В таком случае можно разбить на МС, но общение между ними строго асинхронное через immutable message. То есть, если удалили клиента - формируется сообщение ClientDeleted(id) и пуляется в брокер сообщений или условную кафку. Второй МС слушает эту очередь и реагирует на сообщением зачисткой мусора. Как именно зачистка реализована - зависит от тебя
26 апр 19, 12:07    [21872461]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1153
забыл ник
Imperous
И снова привет!

Изучение микросервисов продолжается, и тема эта покрыта миллионами вопросов.

Привет! Похвально, но пока у тебя очень слабое понятие о МС. Самое главное что тебе надо понять, что разбиение на микросервисы должно делаться не просто для того чтобы разбить, а чтбы оно решало бизнес-проблему или давало некие другие преимущества. Если данные сильно зависимы - это должен быть один микросевис, и храниться они должны в одной базе, вот и все.
Есть два варианта, когда такое разбиение все же имеет смысл -
1) Данные не умещаются на одном сервере\базе и нужно их масштабировать\оптимизировать. В этом случае, как и при всех распределенных решениях мы немного теряем в consistency, т.е она не будет гарантированной.
2) Когда допустима задержка времени и моментальная консистентность данных не критична, сойдет и eventual.

В таком случае можно разбить на МС, но общение между ними строго асинхронное через immutable message. То есть, если удалили клиента - формируется сообщение ClientDeleted(id) и пуляется в брокер сообщений или условную кафку. Второй МС слушает эту очередь и реагирует на сообщением зачисткой мусора. Как именно зачистка реализована - зависит от тебя


Спасибо! Именно это я и спрашивал.
26 апр 19, 12:11    [21872474]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Герой дня
Member

Откуда: obmanula.ru
Сообщений: 30525
если приходится иметь разные бд на микросервисах - то вопрос согласования ложиться на плечи фреймворка

можно согласовывать БД через стрим-потоки вроде https://debezium.io/ , через сообщения RabbitMQ, которые обрабатывают сервисы и так далее (CQRS и тп)
26 апр 19, 12:11    [21872475]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
mayton
Member

Откуда: loopback
Сообщений: 40406
Petro123
Imperous,
Слушай, ты журналист для интервью или программист?
Тут программисты в ветке.
Ты плодишь темы без всякого смысла и ЗАДАЧИ.
Прошлую тему про МС чем ты подытожил?
Дай ссылку.
А твой код позже попросим.

Он похож на бывшего кодера Sybase-технологий который сейчас хочет свичнутся на Java. Я так думаю.
26 апр 19, 12:20    [21872493]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1153
Герой дня
если приходится иметь разные бд на микросервисах - то вопрос согласования ложиться на плечи фреймворка

можно согласовывать БД через стрим-потоки вроде https://debezium.io/ , через сообщения RabbitMQ, которые обрабатывают сервисы и так далее (CQRS и тп)


Кстати про очереди типа RabbitMQ.
Например есть 3 сервиса.
В RabbitMQ попадает сообщение, что клиента с таким id больше нет.
2 сервиса-подписчика получают это сообщение и грохают у себя в базах инфу по клиенту.
А вот сервис№3 был на тот момент в дауне, и сразу не отреагировал. Получается при старте сервиса№3 нужно прочитать из очереди все сообщения с того момента как сервис был "положен" и поочередно выполнить соответствующие инструкции.

Так оно работает?
26 апр 19, 12:31    [21872510]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
mayton
Member

Откуда: loopback
Сообщений: 40406
Imperous
А вот сервис№3 был на тот момент в дауне, и сразу не отреагировал. Получается при старте сервиса№3 нужно прочитать из очереди все сообщения с того момента как сервис был "положен" и поочередно выполнить соответствующие инструкции.

Так оно работает?

90% это будет зависеть от того как вы сконфигурируете этот RabbitMQ. Я с ним не знаком.
Но в других мессенджинговых системах есть длительная подписка (кажется Durable Suscribtion)
и если вы всё правильно сделали то сообщение для вашего упавшего сервиса будет ждать своего
прочтения очень долго. Ну... сколько вам нужно.

Ситуацию с сообщением которое вы УЖЕ прочитали и упали надо рассмотреть отдельно.

Опять-же я становлюсь занудой рекламируя доклад Алименкова по JMS но он всё-таки прошёлся и по этому
кейсу поэтому ищите в youtube.
26 апр 19, 12:42    [21872523]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Imperous
Member

Откуда: Оттуда )
Сообщений: 1153
Petro123
Imperous,
Слушай, ты журналист для интервью или программист?
Тут программисты в ветке.
Ты плодишь темы без всякого смысла и ЗАДАЧИ.
Прошлую тему про МС чем ты подытожил?
Дай ссылку.
А твой код позже попросим.

1) В Java я новичок.
2) Именно поэтому я тут задаю вопросы, а не бабкам на привозе.
3) Я задаю вопросы которыми в данный момент задался. Изучаю материал, я всегда стараюсь разобраться в интересующей меня теме. Кроме форума я читаю достаточно количество статей, и на русском и на английском, и да, мне не всегда ясно что к чему. Это направление для меня ново. Некоторые слова я вообще впервые вижу. К сожалению могу заметил, что многие статьи в первую очередь ориентированны на тех кто уже знаком с материалом, и новичку сложно понять что происходит. Не так что вот смотрите, есть "1 + 1 = 2", в стиле "Хо-па с 11 цифры после запятой в числе Пи идет последовательность 8979323846", и ты такой "а при чем здесь вообще Пи?".
Не видишь смысла, не хочешь узнавать новое, пожалуйста не открывай темы в которых увидишь автором меня.
4) Какую именно прошлую? В которой дали ссылки на материал? Или в которой развели абстрактный флуд?
5) На свой гитхаб? Но ты там совершенно не увидишь микросервисов.
26 апр 19, 12:44    [21872526]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Озверин
Member

Откуда: Ростов-на-Дону
Сообщений: 5066
Imperous,

зависит от настроек:
1. настроить ttl сообщений и отправить автомато по истечению срока в dead queue. А очередь мертвых сообщений уже как придумаете, так и обрабатывайте

2. Можете настроить ttl сообщений так, что они там будут довольно долго ждать своего срока




Но это rabbit, таже kafka ведет себя как лог сообщений, где вы по умолчанию реализуете проверку на повторное чтение\доставку сообщений.
26 апр 19, 12:45    [21872530]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38439
Imperous
Спасибо! Именно это я и спрашивал.

эти требования и к обычным сервисам относятся.
mayton
Он похож на бывшего кодера Sybase-технологий который сейчас хочет свичнутся на Java. Я так думаю.

рядом надо иметь ком и писать, писать, писать.
Ну и темы свои закрывать чем то.
26 апр 19, 12:56    [21872546]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38439
Imperous
Кстати про очереди типа RabbitMQ.
если изучаете микросервисы, то исключите лишнее - асинхронность и очереди.
26 апр 19, 13:03    [21872559]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Kachalov
Member

Откуда: Москва
Сообщений: 5626
Imperous
Но как же на самом деле решается вопрос целостности информации в распределенных БД, которые закреплены за своим микросервисом?

- как любят говорить про микросервисы - это просто!))) Вот только когда начинаешь задавать вопросы про транзакции, юные оптимисты начинают "елозить по теме" и ссылаться на "согласованность". Короче тут и начинается гемор для разработчика. Вот, на мой взгляд, хорошо написанная статья, где автор затронул и интересующую Вас тему: Microservices. Как правильно делать и когда применять?
26 апр 19, 13:06    [21872565]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
забыл ник
Member

Откуда:
Сообщений: 2676
Petro123
Imperous
Кстати про очереди типа RabbitMQ.
если изучаете микросервисы, то исключите лишнее - асинхронность и очереди.

Асинхронность и очереди критически важны для интеграции МС, так что это далеко не лишнее, не основное, но не лишнее
26 апр 19, 13:10    [21872575]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
забыл ник
Member

Откуда:
Сообщений: 2676
Kachalov
Вот только когда начинаешь задавать вопросы про транзакции

Например какие? Имхо, основная печаль в том что люди не умеют грамотно определять рамки микросервиса\класса\модуля\подставить свое, т.е грамотно декомпозировать задачу. Потому что транзакция над двумя микросервисами в реальности не имеет особого смысла, иначе просто их нужно объелинить
Статья неплохая
26 апр 19, 13:13    [21872583]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38439
Kachalov,
+1
Невозможно новичку с нуля в Java прийти и написать микросервисы.
Это архитектура. Второй уровень)
Завтра он пополнит армию кричащих про них на каждом углу.
Автору надо написать хотя бы 2 ПРОСТО сервиса.
Как раньше были в Java классы, бины и просто классы POJO.
Нужно было как то обозначить простой класс? )
26 апр 19, 13:14    [21872585]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38439
забыл ник
Асинхронность и очереди критически важны для интеграции МС

по ссылке треугольник.
В треугольнике все 3 угла важны)). С этим согласен.
26 апр 19, 13:15    [21872587]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38439
Imperous
3) Я задаю вопросы которыми в данный момент задался. Изучаю материал, я всегда стараюсь разобраться в интересующей меня теме.

Теперь сравни своё текст для журналиста задающего вопросы.
Он тоже приходит и хочет разобраться.
Но он журналист.
А у тебя Цель должна быть другая - стать программистом.
А вот для этого надо не микросервисы изучать. Увы.
26 апр 19, 13:24    [21872595]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3204
Kachalov
автор затронул и интересующую Вас тему: Microservices. Как правильно делать и когда применять?
Чет какой-то зашквар:
автор
Все это называется конечной согласованностью (eventual consistency). Происходит это не атомарно, а за счет технологии гарантированной доставки Message Bus. При этом взаимодействие сервисов с шиной — транзакционное, и шина обеспечивает доставку всех сообщений. Поэтому мы можем быть уверены, что в конце концов до наших сервисов все долетит (если, конечно, не решим почистить сообщения брокера через консоль администрирования).
т.е. распределенные транзакции-таки есть
26 апр 19, 13:39    [21872626]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
забыл ник
Member

Откуда:
Сообщений: 2676
Андрей Панфилов
т.е. распределенные транзакции-таки есть

С уровнем изоляции READ_UNCOMMITED :)
26 апр 19, 13:41    [21872627]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Герой дня
Member

Откуда: obmanula.ru
Сообщений: 30525
mayton
Imperous
А вот сервис№3 был на тот момент в дауне, и сразу не отреагировал. Получается при старте сервиса№3 нужно прочитать из очереди все сообщения с того момента как сервис был "положен" и поочередно выполнить соответствующие инструкции.

Так оно работает?

90% это будет зависеть от того как вы сконфигурируете этот RabbitMQ. Я с ним не знаком.
Но в других мессенджинговых системах есть длительная подписка (кажется Durable Suscribtion)
и если вы всё правильно сделали то сообщение для вашего упавшего сервиса будет ждать своего
прочтения очень долго. Ну... сколько вам нужно.

Ситуацию с сообщением которое вы УЖЕ прочитали и упали надо рассмотреть отдельно.

Опять-же я становлюсь занудой рекламируя доклад Алименкова по JMS но он всё-таки прошёлся и по этому
кейсу поэтому ищите в youtube.


необработанные сообщения возвращаются в очередь при соответствующей настройке
26 апр 19, 13:42    [21872629]     Ответить | Цитировать Сообщить модератору
 Re: Микросервисы: на каждый сервис своя БД  [new]
Kachalov
Member

Откуда: Москва
Сообщений: 5626
забыл ник
Kachalov
Вот только когда начинаешь задавать вопросы про транзакции

Например какие?

- любые) Либо мы работаем в транзакционном контексте (что просто только в рамках одного сервиса), либо без него. Растянуть транзакцию на несколько сервисов технически сложно. Если затянуть в сервис все что должно удовлетворять принципу ACID, то неожиданно может получиться монолит) Короче, либо транзакции, либо миросервисы (и микротранзакции, т е транзакция в пределах одного сервиса).
26 апр 19, 13:42    [21872631]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Java Ответить