Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Разработка информационных систем Новый топик    Ответить
 Посоветуйте подходы и литературу по массовой обработке данных.  [new]
feomatr
Member

Откуда: Ростов
Сообщений: 41
Добрый день!

Есть некоторая задача по обработке данных.
В качестве хранилища данных выступает реляционная бд(oracle).
В качестве обработчиков выступает N экземпляров java приложения.
Каждый обработчик умеет вычитывать данные из бд и с помощью бизнес логики изменять и обновлять.
Каждый из обработчиков должен каким-то образом получать свою пачку записей из бд, не пересекающую с данными, полученными другими обработчиками и обрабатывать эти данные.
То есть каждый из них вычитывает свой набор строк из таблицы и обновляет эти строки.

Зачем : снизить нагрузку с севера бд.
Что важно: попытаться сохранить производительность, обеспечиваемую сервером бд.

Интересует опыт построения такого рода систем да и вообще какие подходы, книги есть по массовой обработке данных, их плюсы и минусы, best practices.

Заранее спасибо.
13 сен 18, 08:48    [21673060]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте подходы и литературу по массовой обработке данных.  [new]
alex55555
Member

Откуда:
Сообщений: 2128
feomatr
Каждый из обработчиков должен каким-то образом получать свою пачку записей из бд, не пересекающую с данными, полученными другими обработчиками и обрабатывать эти данные.
...
Зачем : снизить нагрузку с севера бд.
Что важно: попытаться сохранить производительность, обеспечиваемую сервером бд.

Вы предложили решение до того, как познакомились с ожидаемыми best practices и т.д. Ну и сели в лужу.
feomatr
Интересует опыт построения такого рода систем да и вообще какие подходы, книги есть по массовой обработке данных, их плюсы и минусы, best practices.

Best practices здесь простые - понимать, что вы делаете. Вы - не понимаете (видно по предложенному решению).

Вообще сложная обработка это (на привычно вам языке) английское словосочетание про искусство в применении к техническим задачам. Искусство, говорят, так особо и не формализовали, так что best practices здесь наверное найти можно, но вот качество оных обычно вызывает сомнения.

Для понимания вашей проблемы попробуйте рассказать, каким же образом ваши обработчики снизят нагрузку на БД? И что такое "сохранить производительность"?
13 сен 18, 13:25    [21673474]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте подходы и литературу по массовой обработке данных.  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 58939
Блог
feomatr
Зачем : снизить нагрузку с севера бд.

А какова сейчас нагрузка на север бд? Какую долю из этой нагрузки составляет "задача обработки данных" (в её серверной реализации)? Какова эта реализация? Какие у неё резервы оптимизации? Какие дополнительные данные требуются в ходе обработки? Какой профиль нагрузки в этой обработке? Во что она упирается на севере бд? И т. д. и т. п.
13 сен 18, 19:44    [21674147]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте подходы и литературу по массовой обработке данных.  [new]
L1G
Member

Откуда:
Сообщений: 106
книга с кабанчиком (Клеппман, Мартин. Высоконагруженные приложения. Программирование, масштабирование, поддержка)
есть пдф на рутрекере
10 окт 18, 06:30    [21699997]     Ответить | Цитировать Сообщить модератору
Все форумы / Разработка информационных систем Ответить