Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / NoSQL, Big Data Новый топик    Ответить
 Посоветуйте key_value БД для кеша  [new]
Maxifly
Member

Откуда:
Сообщений: 522
Посоветуйте какую-нибудь key_value БД для кешей

В итоге должно получится около 50-ти кешей.
Некоторые будут содержать мало данных, а некоторые много (ну десять миллионов пусть)
Преимущественно - быстрое чтение, медленная запись (хотелось бы и быстрое чтение и быструю запись - но приоритет чтение)
Размер ключей - маленький
Размер данных от маленьких до нескольких мегабайт

Преимуществом будет (но не обязательно), если в ключ можно будет что-то структурированное положить и потом по части структуры искать
Так же необязательно (но можно), если к одному ключу можно будет привязать несколько значений (в случае если класть их в БД не за один запрос а разрозненно)

Ну и данные должны сохраняться если приложение остановить, а потом снова поднять (еще лучше если для каждого ключа это можно настраивать - хранить данные или нет)

Обращаться планируется из Java.

Поможите, чем можите. Прям не знаю с какой стороны подойти к вопросу.


Люблю галеры - работящий коллектив, романтика мужского труда. Стоишь на мостике в пене брызг и эдак поворотясь:
- Голубчик! Утроить количество ударов - Али-паша уходит...
11 янв 17, 14:34    [20093879]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 51774
Maxifly
данные должны сохраняться если приложение остановить, а потом снова поднять

Это как-то не сочетается с самим понятием кэша...
11 янв 17, 14:40    [20093917]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
Maxifly
Member

Откуда:
Сообщений: 522
Dimitry Sibiryakov
Это как-то не сочетается с самим понятием кэша...


Сочетается и вполне. Если я знаю, что данные не менялись - то при старте приложения они сразу уже будут в кеше.
Если при старте я узнаю, что изменилась только часть данных, то я их перезапишу и все.

Сокращает время старта.
11 янв 17, 15:41    [20094232]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
DPH3
Member

Откуда:
Сообщений: 456
Maxifly,

EhCache, Redis и ижи с ними, имя им легион )

Мы пока на redis остановились.

Но, наверно, правильнее говорить не о кэше, а о "вспомогательном хранилище".

> в ключ можно будет что-то структурированное положить и потом по части структуры искать

Этого в явном виде нет, насколько я помню.

> к одному ключу можно будет привязать несколько значений (в случае если класть их в БД не за один запрос а разрозненно)

Есть значение вида "список", с ним такое можно сделать.

> данные должны сохраняться если приложение остановить, а потом снова поднять (еще лучше если для каждого ключа это можно настраивать - хранить данные или нет)

Можно сделать через время жизни ключа

>Обращаться планируется из Java.

spring-data-redis и еще с десяток библиотек работы с редисом.
11 янв 17, 15:41    [20094233]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
skyANA
Member

Откуда: Зеленоград
Сообщений: 28149
Сouchbase, Redis
11 янв 17, 17:03    [20094781]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 3801
skyANA
Сouchbase, Redis


я сделал на Redis
15 мар 17, 12:35    [20297325]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
chernolyas
Member

Откуда:
Сообщений: 105
Ролг Хупин,

Apache Ignite.
30 сен 17, 11:31    [20833165]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
Alexey Tomin
Member

Откуда: Самара
Сообщений: 1943
chernolyas
Apache Ignite.


Там persistent уже сделали? Насколько я помню- данные всё одно хранить надо самому.
ignite - это некий аналог hadoop с минимальным latency.
2 окт 17, 07:54    [20835254]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
chernolyas
Member

Откуда:
Сообщений: 105
Alexey Tomin,

привет. Сделали. https://apacheignite.readme.io/docs/distributed-persistent-store.

Кстати ... для Apache Ignite скоро Hibernate OGM for Apache Ignite выйдет :-) можно будет JPA делать
2 окт 17, 10:31    [20835591]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
_Nikotin
Member

Откуда: СПб
Сообщений: 2965
MapDB, LMDB, RocksDB, LevelDB, ...
6 окт 17, 01:49    [20846934]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 3801
chernolyas
Ролг Хупин,

Apache Ignite.


Неплохо выглядит, интересно, чем он лучше для кеша по сравнению с тем же Редисом?
11 окт 17, 12:17    [20860283]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
Alexey Tomin
Member

Откуда: Самара
Сообщений: 1943
Ролг Хупин
chernolyas
Ролг Хупин,

Apache Ignite.


Неплохо выглядит, интересно, чем он лучше для кеша по сравнению с тем же Редисом?


Кэш там...
На как использовать hadoop чтобы только hbase использовать.
Ignite позволяет масштабировать вычисления на кластер с (намного) более тонким управлением, нежели тот же hadoop. При этом т.к. всё (в норме) в памяти- лэтенси там очень вкусный.
Хранение данных- недавняя прибавка бесплатной версии.
11 окт 17, 13:19    [20860632]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 3801
А какой-нибудь вменяемый web интерфейс есть или только bat file?
11 окт 17, 14:07    [20860923]     Ответить | Цитировать Сообщить модератору
 Re: Посоветуйте key_value БД для кеша  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 3801
Кто подскажет, где найти книжку?

"high performance in-memory computing with apache ignite"
12 окт 17, 14:04    [20864139]     Ответить | Цитировать Сообщить модератору
Все форумы / NoSQL, Big Data Ответить