Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 7 8 9 [10]      все
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
kealon(Ruslan)
Member

Откуда: Нижневартовск
Сообщений: 6360
Бумбараш
ты такой крутой парень

кек
скажем так, я не настолько крут что бы заниматься благотворительностью
т.е. мне есть на что потратить и деньги и время

Сообщение было отредактировано: 8 апр 20, 20:20
8 апр 20, 20:20    [22113081]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
Руслан это ты так хитро дисперсию посчитал?
8 апр 20, 21:22    [22113143]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
kealon(Ruslan)
Member

Откуда: Нижневартовск
Сообщений: 6360
mayton,

она самая
идея не моя, известная формула из методичек
8 апр 20, 23:56    [22113239]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
Красиво.

avg(x^2) - avg(x)^2


Это по сути ответ на вопрос как в map-reduce считать всякие центральные моменты.

Надо-б себе записать чтоб не забыть.
9 апр 20, 00:13    [22113245]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
kealon(Ruslan)
Member

Откуда: Нижневартовск
Сообщений: 6360
mayton,

зачем её запоминать, она ж элементарно выводится для многих агрегатов, главное принцип запомнить

вот это 22110498 только напрягает очень сильно, полученная формула менее устойчива к накоплению ошибок на fpu, чем исходная
9 апр 20, 09:36    [22113309]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
А если резать выборку на под-выборки? И применять кусочно?
9 апр 20, 10:49    [22113347]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Время поделиться новой информацией:

Добавил две дополнительные функции: ksum() — kahan и nsum() — neumaier. Последняя более точная сумма. Все три суммы, sum(), ksum() и nsum() выполняются с примерно одинаковой скоростью: 409мс, 411мс и 414мс на 1.6 миллиардов 64бит double значениях.(dell xps15 7590 ноут)

Это все на master пока, можно попробовать если есть желание. https://github.com/questdb/questdb

Проблема остаётся все той же: пропускная способность памяти.

Сообщение было отредактировано: 30 апр 20, 00:17
30 апр 20, 00:16    [22125452]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
bluestreak
Проблема остаётся все той же: пропускная способность памяти.

30 апр 20, 13:45    [22125703]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
mayton
bluestreak
Проблема остаётся все той же: пропускная способность памяти.



Это не аксиома конечно. Я думаю по этому Руслан был настроен крайне скептически.

Мы прогнали clickhouse на миллиарде. У них тоже есть Кахан. Там наивная сумма 275мс, кахан — 850мс. То есть не в память упёрся. У нас 245мс наивно и 250мс - кахан.


Постгрес — 2 минуты 🧐
30 апр 20, 23:57    [22126019]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
Ну вы даёте блин. Это ж системы разного класса. Postgres - классическая дисковая.
С полным набором фич ACID. И даже если вы ее поставите поверх SSD - она по прежнему
будет применять весь стек технологий для работы с tuples, 8k-pages e.t.c. И data-rows
будет писать с атрибутами версионности и хрен выключишь эту механику.

Нельзя так сравнивать. А-то побегут выбрасывать свой PG и заменять его на ваш "ФВМяс".
4 май 20, 16:09    [22127270]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Добрый вечер, мы вот запустили сервер, на котором можно попробовать QuestDB. Там таблица на 1.6 миллиард записей и примеры запросов. Вы так же можете написать произвольные запросы. Не все конечно оптимально, но попробуйте и поделитесь предложениями


http://try.questdb.io:9000
26 июн 20, 18:00    [22157935]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
https://techcrunch.com/2020/07/02/questdb-nabs-2-3m-seed-to-build-open-source-time-series-database/
2 июл 20, 17:26    [22161082]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2913
bluestreak,

круто
2 июл 20, 18:58    [22161135]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
ptr128
Member

Откуда: Moscow
Сообщений: 888
bluestreak

Инкрементальные запросы вытекают из предположения что данные на изменяются. За исходный результат берётся не 0 а результат предидущего запроса.

Например ‘select location, avg(temp) where timestamp = ‘2019-12’

А если нужна статистика? Например, тот же PostgreSQL PERCENTILE_CONT()?
5 янв 21, 13:14    [22258901]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 7 8 9 [10]      все
Все форумы / Сравнение СУБД Ответить