Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Где лучше держать данные о монетках с бирж криптовалют?  [new]
ZugDuk
Member [заблокирован]

Откуда:
Сообщений: 4
Монеток ну допустим штук 500. Каждая из них торгуется скажем на 10 биржах (это по максимуму).
Каждые 2 сек сборщик делает запрос к бирже, которая возвращает сделки, совершенные за этот период. У каждой сделки есть метка - продажа это была или покупка, количество и цена.
Кроме сделок есть еще стаканы (2 списка ордеров на продажу и покупку). В каждом стакане допустим 1000 позиций (некоторые биржи отдают 10 000 позиций, некоторые по 100). Чтобы не хранить нереальное количество инфы каждые 2 сек, стаканы наверное стоит хранить, как изменения в них, а не целиком. Это гораздо меньше.

Зачем все это нужно? Данные будут использоваться для аналитических программулек, тестирования ботов и машинного обучения.
Чем старее инфа, тем реже к ней запросы.

Кроме первичной информации, каждая монета может иметь много вторичной. Различные показатели, данные для графиков, средние по объемам и т.д.. (сам еще не знаю, что тут будет). Но очевидно, что переработанная инфа не так четко привязана к времени как первичная. Т.е. она может быть типа - какой нибудь средний показатель за день, или неделю. Данные графиков, например бывают за 15 мин, 30, час, 4 часа, день.

Как бы все это хозяйство по лучше организовать?
13 авг 17, 20:46    [20720264]     Ответить | Цитировать Сообщить модератору
 Re: Где лучше держать данные о монетках с бирж криптовалют?  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 11473
Yandex ClickHouse. Как пример.
13 авг 17, 21:33    [20720334]     Ответить | Цитировать Сообщить модератору
 Re: Где лучше держать данные о монетках с бирж криптовалют?  [new]
ZugDuk
Member [заблокирован]

Откуда:
Сообщений: 4
Basil A. Sidorov,

Kiitos !
14 авг 17, 22:34    [20723576]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить