Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Проектирование БД Новый топик    Ответить
 Совет по выбору базы данных и архитектуры  [new]
Зура
Member

Откуда:
Сообщений: 3
Всем привет

Буду признателен если поможете с выбором базы данных и архитектуры для конкретного случая.

Вот детали:

- будут 2 таблицы (думаю о партишенах по таймстампу)
- 1я таблица: 6 столбцов, 3 из них нужно индексировать(таймстамп, текст, текст). 2я таблица: 9 столбцов, индексация и типи данных как в первой.
- ожидается 6 миллионов инсертов в секунду (суммарно для обойх таблиц).
- апдейтов не будет. селекты будут редкими (может быт 10-20 простых селектов в час)
- для быстродействия думаю нужно будет делать балк-инсерты (которые самые быстрие) в неиндексированних партишенах с последующей индексацией каждого партишена. время для индексации не должно быт слышком большим (более-менее поспевать за инсертами)
- будут хранятся данные последнего месяца.

Мой вопрос: Которая база данных и архитектура может с таким справится? я думаю нужен будет кластер и лоуд-балансинг. например пострес-кластер сможет? или что-то другое?
Я понимаю многое зависит от железа, но в первую очередь нужно выбрать базу и архитектуру.

Советы с железом тоже желательны.

Посоветуйте пожалуйста что подойдет.

Спасибо заранее

Зура
22 фев 19, 22:56    [21817696]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48154

При отсутствии заметной нагрузки на чтение - плоские файлы (возможно текстовые) будут
наилучшим решением. Это зависит от сущности "простых селектов".

Posted via ActualForum NNTP Server 1.5

22 фев 19, 23:11    [21817705]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
PizzaPizza
Member

Откуда:
Сообщений: 280
Зура
таймстамп, текст, текст
6 миллионов инсертов в секунду


текст, текст бы вы прикинули для начала и подсчитали объёмы. Есть разница 6 миллионов раз в секунду вставлять Войну и мир или пару строк текста.

Смотреть надо не на БД в первую очередь, а на железо.
23 фев 19, 08:21    [21817739]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
Зура
Member

Откуда:
Сообщений: 3
PizzaPizza,

текст короткый, 100-150 символов максимум.

железо понятно, но БД тоже, не все такое могут.
23 фев 19, 08:37    [21817740]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
Arm79
Member

Откуда: МО, Раменское
Сообщений: 3669
Cassandra
23 фев 19, 11:12    [21817769]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48154

Зура
БД тоже, не все такое могут.

600-900 мегабайт в секунду в первую очередь ляжет на сеть. Ибо гигабитной сетки на такое
не хватит. Винты бытового уровня не смогут больше 100 мегабайт в секунду, нужен суровый
сторадж. Системная шина напряжётся в последнюю очередь, но ей тоже придётся тяжко.

Парень, люди, способные сделать систему такого уровня, топиков на форумах не создают.

Posted via ActualForum NNTP Server 1.5

23 фев 19, 13:15    [21817798]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
L_argo
Member

Откуда:
Сообщений: 892
- ожидается 6 миллионов инсертов в секунду
Вам поручили учет транзакций Мастеркарда ?
Но нет. У Мастеркарда рейт несчастных неск. десятков тыщ./сек.

Что за курсач у Вас такой ? Мы все заинтригованы.
23 фев 19, 22:53    [21818011]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3618
просто бигбосс решил поиграться в соцсети, ит-босс дал задачу "ну скачай что-ли для начала твиттер"
27 фев 19, 10:07    [21820226]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
mad_nazgul
Member

Откуда:
Сообщений: 4751
Зура,

Например можно взять Kafka.
Горизонтально масштабируется, по умолчанию срок хранения неделя, но можно настроить.

Хотя в принципе даже plain text подойдет.
27 фев 19, 12:21    [21820380]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
Зура
Member

Откуда:
Сообщений: 3
спасибо всем кто дельные советы дал.
умникам отдельное спасибо.
флет файли видимо лучший вариант.
6 мар 19, 11:43    [21826055]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
PsyMisha
Member

Откуда: другая столица
Сообщений: 333
Зура,

Нужен FVMas, однозначно! (С)
22 мар 19, 09:21    [21840336]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
DSKalugin
Member

Откуда: Мать городов русских
Сообщений: 316
Добрый день, товарищ майор!
автор
- будут хранятся данные последнего месяца.
- 1я таблица: 6 столбцов, 3 из них нужно индексировать(таймстамп, текст, текст). = (когда, кто, кому)?
- ожидается 6 миллионов инсертов в секунду
- апдейтов не будет. селекты будут редкими

L_argo
Вам поручили учет транзакций Мастеркарда ?

Похоже на реализацию закона Яровой "Хранение интернет-трафика" ;-)))
https://ru.wikipedia.org/wiki/Закон_Яровой
12 апреля 2018 года правительство РФ подписало постановление о том, что с 1 октября 2018 года операторы связи обязаны хранить в течение 30 суток текстовые, голосовые, видео- и другие сообщения пользователей.

Версионность SQL серверов тут явно не нужна. Да и самому SQL-у я тут применения не вижу
24 мар 19, 11:49    [21841945]     Ответить | Цитировать Сообщить модератору
 Re: Совет по выбору базы данных и архитектуры  [new]
kaldorey
Member

Откуда:
Сообщений: 588
Зура,

Можно посмотреть в сторону связки kafka и clickhouse
3 апр 19, 13:50    [21851278]     Ответить | Цитировать Сообщить модератору
Все форумы / Проектирование БД Ответить