Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / PostgreSQL Новый топик    Ответить
 Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?  [new]
Pvase
Member

Откуда:
Сообщений: 1002
Здравствуйте.
Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL?
Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти?
Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?

Сообщение было отредактировано: 30 мар 21, 12:28
30 мар 21, 12:34    [22301963]     Ответить | Цитировать Сообщить модератору
 Re: Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?  [new]
yob
Member

Откуда:
Сообщений: 39
Pvase
Здравствуйте.
Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL?
Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти?
Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?

"Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?" - придется делать все программно, прописывая всю логику процедурно.
Прочитайте про партиции, в итоге реализуете parent - child иерархию для таблиц, с созданием, добавлением, распределением данных
https://www.postgresql.org/docs/
Можно пойти дальше и наваять функций, которые потом будут считывать данные из определенного набора таблиц, в зависимости от параметров/условий

ColumnStore нету, вместо этого есть целые базы данных на базе пострге, обеспечивающие поколоночное хранение)
In - memory нет, по крайней мере в 11. Но здесь больше вопрос а надо ли, попробуйте для начала обернуть в мат вьюхи
2 тб немного, линейное масштабирование вас спасет
ну и попробуйте вбить Postgre VS Mssql
30 мар 21, 13:42    [22301999]     Ответить | Цитировать Сообщить модератору
 Re: Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Pvase

Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?


1)партиционирование есть... поддержка tablespaces есть... соответственно - из этих 2х вещей собирается то что вам надо.

2)2TB в год не так много... за 5 лет всего 10TB... если старые партиции будут readonly то вообще проблем не будет ни с чем особо.
Сервер с 20TB ssd не то чтобы невозможен за разумные деньги.
Рекомендую помесячное партиционирование на таких объемах (чтобы партиции за 200-500gb размера не выходили).


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
30 мар 21, 16:26    [22302115]     Ответить | Цитировать Сообщить модератору
 Re: Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?  [new]
Pvase
Member

Откуда:
Сообщений: 1002
yob
ColumnStore нету, вместо этого есть целые базы данных на базе пострге, обеспечивающие поколоночное хранение)

Спасибо, можете показать в каких базах это есть?
1 апр 21, 17:38    [22303050]     Ответить | Цитировать Сообщить модератору
Все форумы / PostgreSQL Ответить