Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 7 [8] 9 10   вперед  Ctrl      все
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53394

bluestreak
Запись на диск ведётся через 16мб страницы. Когда страница заканчивается она
демонтируется, что приводит к асинхронному msync(), и создаётся новая страница итд.

Значит, если транзакция маленькая и не достигла 16 мб, она не вызовет msync, несмотря на
то, что клиентская часть уже получила "ок" на commit?..

Posted via ActualForum NNTP Server 1.5

10 дек 19, 14:27    [22036940]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
bluestreak, топик читаю. Все проверять не успеваю. Возможно ближе к пятнице.
10 дек 19, 14:29    [22036944]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Dimitry Sibiryakov

bluestreak
Запись на диск ведётся через 16мб страницы. Когда страница заканчивается она
демонтируется, что приводит к асинхронному msync(), и создаётся новая страница итд.

Значит, если транзакция маленькая и не достигла 16 мб, она не вызовет msync, несмотря на
то, что клиентская часть уже получила "ок" на commit?..


Пока да, в 4.0.4 будет полная поддержка msync()
10 дек 19, 14:45    [22036965]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
mayton
bluestreak, топик читаю. Все проверять не успеваю. Возможно ближе к пятнице.


Отлично, не торопись!
10 дек 19, 15:15    [22036990]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Dimitry Sibiryakov

bluestreak
Запись на диск ведётся через 16мб страницы. Когда страница заканчивается она
демонтируется, что приводит к асинхронному msync(), и создаётся новая страница итд.

Значит, если транзакция маленькая и не достигла 16 мб, она не вызовет msync, несмотря на
то, что клиентская часть уже получила "ок" на commit?..


Ну вот добавил конфигурируемый msync(), теперь можно делать async/sync/nosync для индивидуального комита или использовать глобальное значение по умолчанию.
11 дек 19, 12:28    [22037663]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53394

bluestreak
Ну вот добавил конфигурируемый msync(), теперь можно делать async/sync/nosync для
индивидуального комита или использовать глобальное значение по умолчанию.

И при значении sync какая теперь скорость у вставки с коммитом после каждой записи?

Posted via ActualForum NNTP Server 1.5

11 дек 19, 13:45    [22037746]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Dimitry Sibiryakov

bluestreak
Ну вот добавил конфигурируемый msync(), теперь можно делать async/sync/nosync для
индивидуального комита или использовать глобальное значение по умолчанию.

И при значении sync какая теперь скорость у вставки с коммитом после каждой записи?


Здесь бенчмарк. Запись состоит из одной 64—битной колонки:

https://github.com/questdb/questdb/blob/master/benchmarks/src/main/java/org/questdb/TableWriteBenchmark.java

Результат — среднее значение в микросекундах.

Benchmark Mode Cnt Score Error Units
TableWriteBenchmark.testRnd avgt 5 0.002 ± 0.001 us/op
TableWriteBenchmark.testWriteAsync avgt 5 0.769 ± 0.044 us/op
TableWriteBenchmark.testWriteNoCommit avgt 5 0.019 ± 0.003 us/op
TableWriteBenchmark.testWriteNoSync avgt 5 0.023 ± 0.004 us/op
TableWriteBenchmark.testWriteSync avgt 5 2852.849 ± 61.804 us/op

Я опять запустил это на лаптопе, все тесты один за другим. Под конец лаптоп начал перегреваться и nocommit тест опустился с 13нс до 19нс. Похожая картина и в nosync. Sync это на таком устройстве:

3d:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961
11 дек 19, 14:29    [22037798]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Забыл сказать, nocommit тест комитит в конце всего теста и не измеряет скорость комита. Все остальные тесты комитят каждую запись. Все вместе они создали более 10 миллиардов записей.
11 дек 19, 14:36    [22037807]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Как дела? Получается что-то похожее с oracle и его другом Lag’ом сделать?
12 дек 19, 22:39    [22039209]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Мужики, если не получается в оракл либо залить 300м записей, либо отсортировать либо джонить — не беда, давайте этот момент пропустим и продолжим общение. Я же базу пишу чтобы легче жизнь была а не тяжелее.

Мы будем скоро выкатывать поддержку залива данных их influx line protocol. Это популярная тема у Devops. QuestDB имеет UDP ресивер для этого. Тут недавно кто-то спрашивал как поймать 9000 пакетов на Делфи ... Мы тестировали influx и QuestDB, отправляем 50м записей по UDP unicast за 20—23с, influx ловит 2м, QuestDB — 21м это с nosync понятное дело ну и на лаптопе через loopback :)

Это интересно будет если мы ещё графану прикрутим к QuestDB?
15 дек 19, 07:27    [22040565]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
В UDP пакеты имеют свойство загадочным образом "терятся" .

Уверены что оно вам надо?
15 дек 19, 10:51    [22040587]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 65894
Блог
bluestreak
не беда, давайте этот момент пропустим и продолжим общение

Чувак, общаться есть смысл с теми, кто хоть что-то соображает. А над тобой можно только поприкалываться.
15 дек 19, 11:32    [22040598]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
И при чем тут графана - вообще непонятно. С таким-же успехом можно было сказать - а давайте прикрутим
кофе-машину или холодильник. Можно конешно. К любому источнику данных. Но зачем здесь и сейчас?
15 дек 19, 12:35    [22040632]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
mayton
В UDP пакеты имеют свойство загадочным образом "терятся" .

Уверены что оно вам надо?


Пока не уверен. Начинаем с UDP, потом легко и TCP сделать и даже за HTTP поставить — основная сложность в парзере.

UDP полезен в сборе метрик. Простая отправка и отправляющая система не замедляется базой. Время покажет надо или нет :)

графана это очень простая, с точки зрения настройки, визуализация. Легко начальству показать чем занимаешься :)
15 дек 19, 13:06    [22040640]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
mayton
И при чем тут графана - вообще непонятно. С таким-же успехом можно было сказать - а давайте прикрутим
кофе-машину или холодильник. Можно конешно. К любому источнику данных. Но зачем здесь и сейчас?


Это одна из жизненно необходимых фич для devops
15 дек 19, 13:18    [22040647]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53394

bluestreak
графана это очень простая, с точки зрения настройки, визуализация. Легко начальству
показать чем занимаешься :)

Обычно для этого служит Эксель. ODBC драйвер чтобы к QuestDB можно было из него цепляться
вы выкатывать собираетесь?

Posted via ActualForum NNTP Server 1.5

15 дек 19, 13:42    [22040656]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Dimitry Sibiryakov

bluestreak
графана это очень простая, с точки зрения настройки, визуализация. Легко начальству
показать чем занимаешься :)

Обычно для этого служит Эксель. ODBC драйвер чтобы к QuestDB можно было из него цепляться
вы выкатывать собираетесь?


Конечно! К QuestDB уже можно по постгрес протоколу цепляться. Через постгрес ODBC! Так же можно через HTTP и VBA, но потом нужно ответы на бэйсике парзить — это на любителя :)
15 дек 19, 14:17    [22040669]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53394

bluestreak
К QuestDB уже можно по постгрес протоколу цепляться. Через постгрес ODBC!

Ну вот проблема и решена. Берёте любой офис, подключаете к нему внешние данные, строите
любые графики или проводите их анализ в привычном для пользователя окружении.

Posted via ActualForum NNTP Server 1.5

15 дек 19, 14:30    [22040670]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Dimitry Sibiryakov,

Я предполагаю что influx и графана не сильно популярны на этом форуме? У графаны свои прелести — дашборд, графики живые, алертинг это немного другое. Excel конечно вещь хорошая и нужная но одно другого по моему не исключает.

Интересно чем вы мониторите нагрузку на базы, приложения, ОС?
15 дек 19, 15:24    [22040687]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
Спокойнее коллеги.

Нормальный топик. Зачем вы его готовите к закрытию?
15 дек 19, 22:19    [22040805]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Можете наши не по топику комментарии удалить?
15 дек 19, 22:32    [22040808]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
mayton
Member

Откуда: loopback
Сообщений: 51389
Нет оснований пока.
15 дек 19, 23:02    [22040811]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Выпустили обновление:

https://github.com/questdb/questdb/releases/tag/4.0.4

Здесь обсуждаемая durability и также разнообразные ускорения, в частности REST точки.
20 дек 19, 10:37    [22044985]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
bluestreak
Member

Откуда:
Сообщений: 108
Добрый день,

Ещё несколько новостей. Мы получили инвестиции и собрали команду из очень толковых инженеров. На следущей неделе начинаем развиваться одновременно в нескольких направлениях:

— открыто доступный демо—сервер с данными о такси Нью-Йорка. 1.6 миллиардная основная таблица и дополнительные данные, такие как погода для анализа совпадений событий. Мы переписываем агрегацию с использованием simd и параллелизацией. Подобные запросы будут выполняться менее чем за 1 секунду.

— двухфазовый комит и поддержка распределённых данных

— материализованные запросы


Есть так же идея добавления поддержки многопроходных формул в SQL, например:


select avg(x — sum(y)) from tab

Что вы об этом думаете?

PS: новый сайт https://www.questdb.io/ упростили навигацию по доке, так же добавляем деталей
7 мар 20, 17:20    [22095197]     Ответить | Цитировать Сообщить модератору
 Re: QuestDB - новая СУБД для хранения time series данных  [new]
kealon(Ruslan)
Member

Откуда: Нижневартовск
Сообщений: 6360
bluestreak
Есть так же идея добавления поддержки многопроходных формул в SQL, например:


select avg(x — sum(y)) from tab

Что вы об этом думаете?

PS: новый сайт https://www.questdb.io/ упростили навигацию по доке, так же добавляем деталей
это однопроходная формула
если имелась ввиду avg(x — avg(y))

Сообщение было отредактировано: 9 мар 20, 19:34
9 мар 20, 19:33    [22095712]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 7 [8] 9 10   вперед  Ctrl      все
Все форумы / Сравнение СУБД Ответить