Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
 Re: Подскажите БД для 100000 INSERT-ов в секунду  [new]
George Nordic
Member

Откуда: Moscow
Сообщений: 1209
Это логи? Многие крупные операторы используют clickhouse для этих задач. Типа, под них и заточена - посмотрите.

С Уважением,
Георгий
21 ноя 18, 13:19    [21739994]     Ответить | Цитировать Сообщить модератору
 Re: Подскажите БД для 100000 INSERT-ов в секунду  [new]
Очень лысый
Member

Откуда: БОМЖ
Сообщений: 591
И да, если логи, то есть специализированные движки для работы с ними. Например, тот же splunk, там можно и на табуны csv его натравливать, или на тот же hadoop.
21 ноя 18, 18:05    [21740453]     Ответить | Цитировать Сообщить модератору
 Re: Подскажите БД для 100000 INSERT-ов в секунду  [new]
ScareCrow
Member

Откуда: Белый город
Сообщений: 17390
https://www.elastic.co/elk-stack
4 дек 18, 10:48    [21752668]     Ответить | Цитировать Сообщить модератору
 Re: Подскажите БД для 100000 INSERT-ов в секунду  [new]
Озверин
Member

Откуда: Ростов-на-Дону
Сообщений: 5183
В целом, если эти данные, которые с такой скоростью вставляют в таблицу, здесь и сейчас не нужны, зачем их так быстро вставлять? Можно использовать что-нить типа апач кафки, и играясь размером батча и кол-вом консьюмеров - можете легко подстраиваться под необходимую скорость вставки.

Предположим, мы хотим в 1 секунду обработать 100 000 сообщений. Размер батча делаем, допустим, 10000(на самом деле батч - это размер пакета, так что тут надо будет смотреть и считать), и 10 консьюмеров. Каждый консьюмер делает в одной транзакции вставку из 10 000 сообщений, вы итоге мы получаем не 100 000 сообщений в секунду, а 10 вставок в 1с, с чем справится любая вменяемая бд.


Суть тут:
https://habr.com/company/tinkoff/blog/342892/
4 дек 18, 11:17    [21752690]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
Все форумы / Сравнение СУБД Ответить