Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / PostgreSQL Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль
Maxim Boguk,

Еще вопрос. У меня в базе оракла довольно много BLOB полей.
тут вычитал, дескать blobы сделаны в ПГ мягко говоря не блестяще и лучше храните их где нибудь на ФС, а в базе ссылку.
у меня картинки, и документы в виде пдф, док, ексель и т.д. присутствуют в большом количестве.
прочел здесь
https://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion
в разделе про blob

или я наткнулся на "наскальные надписи предков" и уже все совсем не так?


Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
30 мар 21, 16:21    [22302111]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
yob

так вот каждый ДБА обрастает набором рабочих скриптов, которые использует для решения конкретных прикладных задач и проблем. Исходя из этой логики Drop view при изменении поля вносится в список рабочих скриптов/фич/не знаю, хранится под рукой и не вызывает проблем.

да есть уже "скрит" для этого, у этих вьюх тоже может быть куча зависимостей. часто это далеко не конченый объект, лично я вьюхи терпеть не могу в любой базе)
вопрос был связан с тем что при смене типа поля, все гораздо более сложные и важные объекты "сами" перестраиваюются без проблем. индексы, функции, процедуры. с сраные вьюхи даже не дают это сделать.
30 мар 21, 17:17    [22302150]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Maxim Boguk

Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.
30 мар 21, 17:32    [22302161]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
mefman
Member

Откуда:
Сообщений: 3372
Надфиль
Maxim Boguk

Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.

вот уж не думаю что они как-то особенно мешают.
30 мар 21, 17:41    [22302166]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль
Maxim Boguk

Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.


Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
30 мар 21, 18:11    [22302180]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
mefman
Member

Откуда:
Сообщений: 3372
Maxim Boguk
Надфиль
пропущено...

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.


Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru

ну это для любой РСУБД верно.
30 мар 21, 18:50    [22302195]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Павел Лузанов
Member

Откуда:
Сообщений: 786
Надфиль
...вопрос был связан с тем что при смене типа поля, все гораздо более сложные и важные объекты "сами" перестраиваюются без проблем. индексы, функции, процедуры. с сраные вьюхи даже не дают это сделать.

Из любопытства. А какие у вас причины менять тип столбцов таблицы? Не размерность varchar увеличивать случаем?
30 мар 21, 18:59    [22302196]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
yob
Member

Откуда:
Сообщений: 39
Надфиль
yob

так вот каждый ДБА обрастает набором рабочих скриптов, которые использует для решения конкретных прикладных задач и проблем. Исходя из этой логики Drop view при изменении поля вносится в список рабочих скриптов/фич/не знаю, хранится под рукой и не вызывает проблем.

да есть уже "скрит" для этого, у этих вьюх тоже может быть куча зависимостей. часто это далеко не конченый объект, лично я вьюхи терпеть не могу в любой базе)
вопрос был связан с тем что при смене типа поля, все гораздо более сложные и важные объекты "сами" перестраиваюются без проблем. индексы, функции, процедуры. с сраные вьюхи даже не дают это сделать.

1) Здесь вопрос в архитектуре и решается на стадии проектирования, но да, момент есть с некоторым неудобством имеется, иногда случаются сюрпризы
2) Используете систему контроля версий и без проблем отслеживаете зависимости с последующей выкаткой
30 мар 21, 19:00    [22302197]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Павел Лузанов

Из любопытства. А какие у вас причины менять тип столбцов таблицы? Не размерность varchar увеличивать случаем?

в основном изза немного кривой работы утилиты ora2pg, ни сразу увидел, что оно очень многие типы полей передало не так как нам нужно
numeric почти везде и без размера.
или float/double и тд там, где нужно с точкой и несколькими знаками после запятой.
ну и, кроме того, захотелось сделать для справочников маленьких в качестве ид инт2,
для вещей побольше инт4.
для совсем больших идешек инт8
я об этом в тайне мечтал на оракле).
30 мар 21, 19:40    [22302203]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
yob

1) Здесь вопрос в архитектуре и решается на стадии проектирования, но да, момент есть с некоторым неудобством имеется, иногда случаются сюрпризы
2) Используете систему контроля версий и без проблем отслеживаете зависимости с последующей выкаткой

1. система не с нуля же. и у нас обычно проектирование, написание, тестирование, деплой сводится к технологии "херак/херак и в продакшен"))
2. обычно выкатка "изменений" у нас заключается в "собственники решили, что теперь ценообразование целиком зависит от погоды в Гондурасе, но если нам не понравится, то прям вчера поменяйте на столетний прогноз погоды по Антарктиде".
и это боль чтото поменять в базе на которой нет серьезной нагрузки глубокой ночью с субботы на воскресенье.
30 мар 21, 19:45    [22302204]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Maxim Boguk

Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

спасибо.
и как сейчас принято хранить блобы отдельно?
на какой ФС хотябы)
30 мар 21, 19:46    [22302205]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль
Maxim Boguk

Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

спасибо.
и как сейчас принято хранить блобы отдельно?
на какой ФС хотябы)


minIO - совсем модно/молодежно
Ceph - модно/молодежно
NFS на нормальном сторадже - сурово по корпоративному
просто файловая система (ext4) + rsync - просто и в лоб (просто надо про backups не забывать)
Amazon S3 и аналоги если в облаке...

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
30 мар 21, 20:03    [22302208]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
а что у нас в PG с джобами?
pg_cron в целом норм, но как быть с джобами, которые работают чаще раза в минуту?
пока ничего кроме как вставить sleep в цикл внутри кода джоба, столько раз, сколько нужно в минуту выполнить(с соответствующей паузой), но это же не фига не освобождает процессор, и джоб будет постоянно занимать ядро. или я ошибаюсь?
спасибо.
вчера, 16:49    [22309932]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
mefman
Member

Откуда:
Сообщений: 3372
Надфиль
как быть с джобами, которые работают чаще раза в минуту?

сварить архитектора этого бреда в большом котле.
вчера, 17:12    [22309937]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
mefman

сварить архитектора этого бреда в большом котле.

и как благородный дон предлагает решать задачи требующие регулярного асинхроннного внимания с такой частотой?
например, большой склад, на место упаковки приезжаю с помощью конвеейра "тазики" с набранным товаром для одного заказа,
тазика от 1 до несколких сотен, когда "приехал" весь заказ мы, образно говоря, должны подсветить тазики одного заказа, при условии, что упаковщик собрал предыдущий подсвеченный заказ. тазики доставляться могут на место упаковки разными способами,
упаковываться тоже (с пересчетом или без например). ну и показалось, что проще раз в 10 секунд оценить "прибытие" заказов и освобождение там мощностей на упаковку, чем определять это после каждого значимого действия. помоему не плохое решение.
первоначально было, кстати, с большИм интервалом, но было высказано недовольство из за простоя лишнего в полминуты)

и что плохого в джобе раз в 10 секунд?
вчера, 17:24    [22309941]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
mefman
Member

Откуда:
Сообщений: 3372
Надфиль
mefman

сварить архитектора этого бреда в большом котле.

и как благородный дон предлагает решать задачи требующие регулярного асинхроннного внимания с такой частотой?
например, большой склад, на место упаковки приезжаю с помощью конвеейра "тазики" с набранным товаром для одного заказа,
тазика от 1 до несколких сотен, когда "приехал" весь заказ мы, образно говоря, должны подсветить тазики одного заказа, при условии, что упаковщик собрал предыдущий подсвеченный заказ. тазики доставляться могут на место упаковки разными способами,
упаковываться тоже (с пересчетом или без например). ну и показалось, что проще раз в 10 секунд оценить "прибытие" заказов и освобождение там мощностей на упаковку, чем определять это после каждого значимого действия. помоему не плохое решение.
первоначально было, кстати, с большИм интервалом, но было высказано недовольство из за простоя лишнего в полминуты)

и что плохого в джобе раз в 10 секунд?

Такую логику в современной it уже не реализуют на уровне БД.
Так что тут - только убить архитектора апстену.
вчера, 17:40    [22309952]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
mefman

Такую логику в современной it уже не реализуют на уровне БД.
Так что тут - только убить архитектора апстену.

ладно я ему передам, но во первых работает хорошо уже не один год на нескольких складах.
а во вторых я спросил не об этом.
вчера, 17:55    [22309958]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
vyegorov
Member

Откуда: Баньоло-ин-Пьяно
Сообщений: 1232
Надфиль,

Мне кажется, что ваша задача по описанию подходит под описание именно очереди.
Для обработки очередей есть PGQ.

В любом случае, вам не обязательно тащить всё в базу.
Можно планирование вынести отдельно (в ОС, или в свой софт) и просто дёргать процедуры (или запросы) по расписанию.
вчера, 18:53    [22309988]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
Все форумы / PostgreSQL Ответить