Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / PostgreSQL Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Не велите казнить.
Возможно придется мигрировать с Оракла на Постгресс.
База несколько Тб.
в связи с этим(я прочел рекламные буклеты постгресс про) несколько вопросов к знатокам, если позволите.
1. Стоит ли вообще рассматривать Энтерпрайз решения постгресс?
2. Преимущества?
3. Недостатки?
4. как быстро появляется интерпрайз решение для новой версии ПГ?
5. Можно ли безболезненно мигрировать с обычного ПГ на Ентерпрайз расширение (и обратно)?

Нет ли тут "разбойничей" практики оракла совершать набеги на мирных поселенцев, неспешно возделывавыюших свои таблицы, забывших по наивности, учесть ядра не только на сервере, но и на всей виртуальной ферме, во всем здании, стране и т.д. ведь теоретически мы тоже можем их использовать))
19 мар 21, 17:37    [22297429]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль
Не велите казнить.
Возможно придется мигрировать с Оракла на Постгресс.
База несколько Тб.
в связи с этим(я прочел рекламные буклеты постгресс про) несколько вопросов к знатокам, если позволите.
1. Стоит ли вообще рассматривать Энтерпрайз решения постгресс?
2. Преимущества?
3. Недостатки?
4. как быстро появляется интерпрайз решение для новой версии ПГ?
5. Можно ли безболезненно мигрировать с обычного ПГ на Ентерпрайз расширение (и обратно)?

Нет ли тут "разбойничей" практики оракла совершать набеги на мирных поселенцев, неспешно возделывавыюших свои таблицы, забывших по наивности, учесть ядра не только на сервере, но и на всей виртуальной ферме, во всем здании, стране и т.д. ведь теоретически мы тоже можем их использовать))


Надеюсь топик не выродится в срач... очень уж тема опасная...

1. Рассматривать можно и нужно, но смотря что вам надо... все таки он больших денег стоит... мое мнение что оправдано только если вам разновсякая сертификация ПО нужна внутрироссийская

2. Есть коробка - продажа - официальный поставщик и тд... часто в корпоративных решениях без этого никак... идею open source free software не понимают... есть куча дополнительной не совместимой функциональности допиленной относительно open source официальной версии (хорошо это или плохо зависит от точки зрения). Официальная поддержка от продавца коробки (но как и у Оракла нормальная поддержка за отдельные деньги)

3. Следуют из ответа на п.2 - свои фичи и свои глюки не существующие в обычной версии... вендор лок опять же на конкретное решение (смысл сползать с oracle чтобы опять vendor lock поймать не ясен).

4. Тут не отвечу... по моим ощущениям major релизы где то на полгода отстают но могу ошибаться (со свечкой не стоял)

5. С обычного на enterprise то легко... назад - если вы фичи из enterprise используете может быть нетривиально. В любом случае бинарно они несовместимы с обычным postgresql помоему.

Оправданность решать вам и только вам.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
19 мар 21, 17:58    [22297440]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
mefman
Member

Откуда:
Сообщений: 3372
Maxim Boguk

5. С обычного на enterprise то легко... назад - если вы фичи из enterprise используете может быть нетривиально. В любом случае бинарно они несовместимы с обычным postgresql помоему.

несовместимы!
19 мар 21, 18:03    [22297442]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Maxim Boguk

Надеюсь топик не выродится в срач... очень уж тема опасная...

не ради срача)
Maxim Boguk

1. Рассматривать можно и нужно, но смотря что вам надо... все таки он больших денег стоит... мое мнение что оправдано только если вам разновсякая сертификация ПО нужна внутрироссийская

мы частники, нам пофиг. Ентерпрайз можно и "не наш" рассматривать.
Maxim Boguk

2. Есть коробка - продажа - официальный поставщик и тд... часто в корпоративных решениях без этого никак... идею open source free software не понимают... есть куча дополнительной не совместимой функциональности допиленной относительно open source официальной версии (хорошо это или плохо зависит от точки зрения). Официальная поддержка от продавца коробки (но как и у Оракла нормальная поддержка за отдельные деньги)
3. Следуют из ответа на п.2 - свои фичи и свои глюки не существующие в обычной версии... вендор лок опять же на конкретное решение (смысл сползать с oracle чтобы опять vendor lock поймать не ясен).

у нас самописная система. это радует и огорчает одновременно)
Maxim Boguk

4. Тут не отвечу... по моим ощущениям major релизы где то на полгода отстают но могу ошибаться (со свечкой не стоял)

5. С обычного на enterprise то легко... назад - если вы фичи из enterprise используете может быть нетривиально. В любом случае бинарно они несовместимы с обычным postgresql помоему.

понятно.
попутно вот вопрос возник.
уже многое мигрировали в ПГ с оракла.
вроде бы и все нормально, но меня лично вымораживает необходимость дропать вьюхи чтобы изменить тип поля. причем все остальные зависимые объекты перестраиваются сами без проблем. за что разрабы ПГ так ненавидят людей использующих вьюхи? :-)
и как с этим в ентерпрайз решениях?)

Сообщение было отредактировано: 19 мар 21, 18:45
19 мар 21, 18:51    [22297459]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль

понятно.
попутно вот вопрос возник.
уже многое мигрировали в ПГ с оракла.
вроде бы и все нормально, но меня лично вымораживает необходимость дропать вьюхи чтобы изменить тип поля. причем все остальные зависимые объекты перестраиваются сами без проблем. за что разрабы ПГ так ненавидят людей использующих вьюхи? :-)
и как с этим в ентерпрайз решениях?)


Думаю никак не обстоит... оно слишком глубоко зашито чтобы это можно было легко переделать/поправить.

Да и без КРАЙНЕЙ необходимости (обычно это совместимость с миллионолетним кодом который никто переписывать не хочет) - views вообще не особо нужны в реальной работе (в отличии от matviews но там смена типа поля вполне очевидно почему перестройки требует).

Т.е. мое мнение что эту проблему не чинят по одной причине - views используются редко и это ограничение особых проблем не вызывает.

фичи enterprise версий в 90% случаев расширяют функциональность базы но менять зашитые ограничения и поведение - они обычно не могут (слишком это сложно и дорого в поддержке оказывается... в свое время greenplum сильно об это ударился).

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru

Сообщение было отредактировано: 19 мар 21, 19:07
19 мар 21, 19:13    [22297475]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль,

А расскажите про то как views в оракле работают...
Вот есть у вас view
select field1 from table;

что с ним будет если field1 в table переименуют в field2 ?

В pg view автоматически превратиться в select field2 from table; например.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
19 мар 21, 19:16    [22297477]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Maxim Boguk
Надфиль,

А расскажите про то как views в оракле работают...
Вот есть у вас view
select field1 from table;

что с ним будет если field1 в table переименуют в field2 ?

В pg view автоматически превратиться в select field2 from table; например.

во первых оракл просто позволит не дропая вьюху, менять таблицы и поля от которых вьюха зависит.
он сделает вьюху(и все зависимые объекты) "не валидной" при первом обращении к ней скомпилирует вьюху.(если поменять имя поля в таблице или значимо тип поменять, то не сможет скомпилировать ).
19 мар 21, 19:40    [22297486]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 52916
Надфиль
Возможно придется мигрировать с Оракла на Постгресс.

Тут следует уточнить цели этой миграции.

Если цель сэкономить на лицензии - энтерпрайс решения по определению не позволят её достичь.

Если "импортозамещение", то следует оценить свои силы, ибо "кадры решают всё" и если их будет достаточно чтобы вникнуть в новую СУБД (и, возможно, даже модифицировать её под свои нужды) - вы сами себе энтерпрайс. В противном случае без внешней поддержки вам не обойтись.
20 мар 21, 14:50    [22297688]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Dimitry Sibiryakov

Если цель сэкономить на лицензии - энтерпрайс решения по определению не позволят её достичь.

ну постгресс показался в несколько раз дешевле. у оракла каждый чих за отдельные деньги.
или мне просто не показали прайс на "чихи"?))
20 мар 21, 16:45    [22297707]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль
Dimitry Sibiryakov

Если цель сэкономить на лицензии - энтерпрайс решения по определению не позволят её достичь.

ну постгресс показался в несколько раз дешевле. у оракла каждый чих за отдельные деньги.
или мне просто не показали прайс на "чихи"?))


части модных чихов тип RAC нет просто в природе ни за какие деньги...
мое мнение при отсутствии требования к сертификации используемого ПО - enterprise платные форки смысла имеют очень мало.
Разве что вы очень точно знаете что вам вот без какой то конкретной фичи доступной где то в коммерческом форке вообще никак.

Начинать точно с обычной open source и дальше смотреть насколько вам ее хватает (в 90% случаев будет хватать с головой).


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
20 мар 21, 18:29    [22297732]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Maxim Boguk

части модных чихов тип RAC нет просто в природе ни за какие деньги...

и как, кстати, жить с этим? я так понимаю что "кластеры" ПГ это в основном для выживаемости, а нагрузку как масштабировать?
Наращивать мощность одного сервера можно не бесконечно, да и эффект от увеличения ОЗУ с 500Гб до 1Тб будет меньше эффекта увлечения памяти с 2500Гб до 500. (цифры от балды чисто для иллюстрации).
применять то, что называют модным словом "шардинг"?
Maxim Boguk

мое мнение при отсутствии требования к сертификации используемого ПО - enterprise платные форки смысла имеют очень мало.
Разве что вы очень точно знаете что вам вот без какой то конкретной фичи доступной где то в коммерческом форке вообще никак.

Начинать точно с обычной open source и дальше смотреть насколько вам ее хватает (в 90% случаев будет хватать с головой).

да, мы пришли примерно к такому выводу, поэтому и топик возник, может я чегото не рассмотрел в преимуществах платных форков...
22 мар 21, 08:51    [22298042]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль

и как, кстати, жить с этим? я так понимаю что "кластеры" ПГ это в основном для выживаемости, а нагрузку как масштабировать?
Наращивать мощность одного сервера можно не бесконечно, да и эффект от увеличения ОЗУ с 500Гб до 1Тб будет меньше эффекта увлечения памяти с 2500Гб до 500. (цифры от балды чисто для иллюстрации).
применять то, что называют модным словом "шардинг"?


Ровно так же как и по моему (могу ошибаться) сейчас модно на Oracle делать (и это совсем не RAC).
Настройка репликации и вынос читающей нагрузки не чувствительной к небольшому отставанию на реплики (т.е. как у ActiveDataGuard или как там его зовут делают).
А реплик уже ставиться столько сколько надо.
Оставляя на мастере только нагрузку которая точно должна быть синхронной с записью (обычно это 10% нагрузки или меньше).

Шардинг он скорее нужен когда у вас обьем данных перестает влезать в разумные границы и ставить 10 реплик по 100TB ssd каждая становится просто дорого.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
22 мар 21, 10:48    [22298084]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 52916
Maxim Boguk
мое мнение при отсутствии требования к сертификации используемого ПО - enterprise платные форки смысла имеют очень мало.

То есть ваша поддержка бесполезна? Ведь именно ради того чтобы в нештатной ситуации было к кому обратиться за экстренной помощью энтерпрайс-редакции и покупаются.
22 мар 21, 14:39    [22298247]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Dimitry Sibiryakov
Maxim Boguk
мое мнение при отсутствии требования к сертификации используемого ПО - enterprise платные форки смысла имеют очень мало.

То есть ваша поддержка бесполезна? Ведь именно ради того чтобы в нештатной ситуации было к кому обратиться за экстренной помощью энтерпрайс-редакции и покупаются.


Чтобы ответить на эту предьяву придется достаточно долго и занудно отделять мух от котлет...
Ну чтож... приступим.

1)вообще коробки и коммерческие (и какие либо вообще) форки не производим и не планируем (хотя местами клиенты и хотят)

2)занимаемся поддержкой open source версии именно для того чтобы в случае экстренной ситуации было к кому обратиться (да и в не экстренной ситуации тоже)

3)стараемся не связываться с поддержкой коммерческих форков (потому что поддерживать костыли не будучи их автором ну очень безблагодатно)

4)что очень важно - покупка коммерческого enterprise НЕ ДАЕТ сколько то внятной поддержки... за поддержку enterprise версии базы надо платить отдельно (и тоже по enterprise тарифам)

5)задача enterprise версии дать 1)понятную коробку и систему лицензирования привычную корпоративным пользователям 2)дать сертифицированную версию 3)чтобы объяснить зачем она вообще нужна - добавить туда некоторое количество костылей для похожести на oracle или просто популярных разной степени работоспособности но неизменно популярных в запросах у клиентов (типа multimaster и автофейловер)
Т.е. это все сильно больше про шашечки а не про ехать но мир корпоративного IT он вообще весь такой: “Nobody gets fired for buying IBM”


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
22 мар 21, 18:51    [22298432]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Maxim Boguk,
немного не по теме топика.
а партицирование в 13 версии все еще тупит на вставку когда партиций больше определенного количества?
и все еще не создает партицию само при отсутствии таковой при вставке?
спасибо.
23 мар 21, 10:10    [22298598]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль
Maxim Boguk,
немного не по теме топика.
а партицирование в 13 версии все еще тупит на вставку когда партиций больше определенного количества?
и все еще не создает партицию само при отсутствии таковой при вставке?
спасибо.


>Не надо тысячи партиций делать оно не работало нормально и не будет... 100-200 разумный лимит (20 лет помесячных партиций это с головой).

>и все еще не создает партицию само при отсутствии таковой при вставке?
нет и не планируется даже в 14 версии
(это кстати еще одна фича в категории "просто разной степени работоспособности но неизменно популярных в запросах у клиентов")


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
23 мар 21, 10:15    [22298604]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Maxim Boguk

>Не надо тысячи партиций делать оно не работало нормально и не будет... 100-200 разумный лимит (20 лет помесячных партиций это с головой).

ну вот на одной таблице у меня недельные партиции, в каждой 200-400 млн строк..
благо больше 3-х месяцев пока хранить не надо.

Maxim Boguk

нет и не планируется даже в 14 версии
(это кстати еще одна фича в категории "просто разной степени работоспособности но неизменно популярных в запросах у клиентов")

наверно, это сговор) производители фич занесли в опенсоурс чемоданчик, чтобы не торопились. мне почему то не кажется эта фича сложной в реализации))
23 мар 21, 10:30    [22298611]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль

Maxim Boguk

нет и не планируется даже в 14 версии
(это кстати еще одна фича в категории "просто разной степени работоспособности но неизменно популярных в запросах у клиентов")

наверно, это сговор) производители фич занесли в опенсоурс чемоданчик, чтобы не торопились. мне почему то не кажется эта фича сложной в реализации))


Сложной... у вас появляются очень неприятные риски что случайная вставка поставит весь проект раком если автоматически партиции создавать.
Потому что добавление партиции в дерево требует получения эксклюзивной блокировки на родителя (как любой DDL).

Это то почему на prod DDL вносят руками под присмотром dba и с timeouts (чтобы не уронить все ненароком)... добавление партиций тот же DDL.

Т.е. в лоб сделать то не сложно, сложно сделать так чтобы оно все не роняло с вероятностью близкой к 100% например во время работы pg_dump или долгого отчета.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
23 мар 21, 10:40    [22298618]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Maxim Boguk,

Еще вопрос. У меня в базе оракла довольно много BLOB полей.
тут вычитал, дескать blobы сделаны в ПГ мягко говоря не блестяще и лучше храните их где нибудь на ФС, а в базе ссылку.
у меня картинки, и документы в виде пдф, док, ексель и т.д. присутствуют в большом количестве.
прочел здесь
https://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion
в разделе про blob

или я наткнулся на "наскальные надписи предков" и уже все совсем не так?

Сообщение было отредактировано: 30 мар 21, 14:29
30 мар 21, 14:32    [22302039]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
yob
Member

Откуда:
Сообщений: 39
т

Сообщение было отредактировано: 30 мар 21, 14:43
30 мар 21, 14:46    [22302048]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
yob
Надфиль,
если вы разраб на ПГ, то вы все это автоматизируете под себя

я в целом и в основном ДБА от оракла.
но разрабов под рукой хватает. прикладных.

Сообщение было отредактировано: 30 мар 21, 14:41
30 мар 21, 14:48    [22302052]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
mefman
Member

Откуда:
Сообщений: 3372
Надфиль
Maxim Boguk,

Еще вопрос. У меня в базе оракла довольно много BLOB полей.
тут вычитал, дескать blobы сделаны в ПГ мягко говоря не блестяще и лучше храните их где нибудь на ФС, а в базе ссылку.
у меня картинки, и документы в виде пдф, док, ексель и т.д. присутствуют в большом количестве.
прочел здесь
https://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion
в разделе про blob

или я наткнулся на "наскальные надписи предков" и уже все совсем не так?

я тоже перешел с оракла, но считаю что хранить блобы в РСУБД - это зло. Даже в оракле.
В оракле их "принято" хранить потому что куча бабла уже уплачена за "комбайн".
Но это тоже не есть правильно.

Сообщение было отредактировано: 30 мар 21, 14:54
30 мар 21, 15:01    [22302058]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
yob
Member

Откуда:
Сообщений: 39
Надфиль
yob
Надфиль,
если вы разраб на ПГ, то вы все это автоматизируете под себя

я в целом и в основном ДБА от оракла.
но разрабов под рукой хватает. прикладных.

это я в тему Drop view каждый раз при изменении поля...

так вот каждый ДБА обрастает набором рабочих скриптов, которые использует для решения конкретных прикладных задач и проблем. Исходя из этой логики Drop view при изменении поля вносится в список рабочих скриптов/фич/не знаю, хранится под рукой и не вызывает проблем.
Могу ошибаться, просто вырвалось)
30 мар 21, 15:08    [22302064]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
yob
Member

Откуда:
Сообщений: 39
mefman,
+ 1
30 мар 21, 15:09    [22302065]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
yob
Member

Откуда:
Сообщений: 39
mefman
Надфиль
Maxim Boguk,

Еще вопрос. У меня в базе оракла довольно много BLOB полей.
тут вычитал, дескать blobы сделаны в ПГ мягко говоря не блестяще и лучше храните их где нибудь на ФС, а в базе ссылку.
у меня картинки, и документы в виде пдф, док, ексель и т.д. присутствуют в большом количестве.
прочел здесь
https://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion
в разделе про blob

или я наткнулся на "наскальные надписи предков" и уже все совсем не так?

я тоже перешел с оракла, но считаю что хранить блобы в РСУБД - это зло. Даже в оракле.
В оракле их "принято" хранить потому что куча бабла уже уплачена за "комбайн".
Но это тоже не есть правильно.

Потом обязательно появятся люди, которые завяжутся на блобы, даже если они впоследствии были обработаны, распарсены, разложены, не знаю. Много средств, которые обеспечивают более гибкие возможности для хранения
30 мар 21, 15:12    [22302070]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль
Maxim Boguk,

Еще вопрос. У меня в базе оракла довольно много BLOB полей.
тут вычитал, дескать blobы сделаны в ПГ мягко говоря не блестяще и лучше храните их где нибудь на ФС, а в базе ссылку.
у меня картинки, и документы в виде пдф, док, ексель и т.д. присутствуют в большом количестве.
прочел здесь
https://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion
в разделе про blob

или я наткнулся на "наскальные надписи предков" и уже все совсем не так?


Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
30 мар 21, 16:21    [22302111]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
yob

так вот каждый ДБА обрастает набором рабочих скриптов, которые использует для решения конкретных прикладных задач и проблем. Исходя из этой логики Drop view при изменении поля вносится в список рабочих скриптов/фич/не знаю, хранится под рукой и не вызывает проблем.

да есть уже "скрит" для этого, у этих вьюх тоже может быть куча зависимостей. часто это далеко не конченый объект, лично я вьюхи терпеть не могу в любой базе)
вопрос был связан с тем что при смене типа поля, все гораздо более сложные и важные объекты "сами" перестраиваюются без проблем. индексы, функции, процедуры. с сраные вьюхи даже не дают это сделать.
30 мар 21, 17:17    [22302150]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Maxim Boguk

Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.
30 мар 21, 17:32    [22302161]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
mefman
Member

Откуда:
Сообщений: 3372
Надфиль
Maxim Boguk

Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.

вот уж не думаю что они как-то особенно мешают.
30 мар 21, 17:41    [22302166]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль
Maxim Boguk

Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.


Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
30 мар 21, 18:11    [22302180]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
mefman
Member

Откуда:
Сообщений: 3372
Maxim Boguk
Надфиль
пропущено...

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.


Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru

ну это для любой РСУБД верно.
30 мар 21, 18:50    [22302195]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Павел Лузанов
Member

Откуда:
Сообщений: 786
Надфиль
...вопрос был связан с тем что при смене типа поля, все гораздо более сложные и важные объекты "сами" перестраиваюются без проблем. индексы, функции, процедуры. с сраные вьюхи даже не дают это сделать.

Из любопытства. А какие у вас причины менять тип столбцов таблицы? Не размерность varchar увеличивать случаем?
30 мар 21, 18:59    [22302196]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
yob
Member

Откуда:
Сообщений: 39
Надфиль
yob

так вот каждый ДБА обрастает набором рабочих скриптов, которые использует для решения конкретных прикладных задач и проблем. Исходя из этой логики Drop view при изменении поля вносится в список рабочих скриптов/фич/не знаю, хранится под рукой и не вызывает проблем.

да есть уже "скрит" для этого, у этих вьюх тоже может быть куча зависимостей. часто это далеко не конченый объект, лично я вьюхи терпеть не могу в любой базе)
вопрос был связан с тем что при смене типа поля, все гораздо более сложные и важные объекты "сами" перестраиваюются без проблем. индексы, функции, процедуры. с сраные вьюхи даже не дают это сделать.

1) Здесь вопрос в архитектуре и решается на стадии проектирования, но да, момент есть с некоторым неудобством имеется, иногда случаются сюрпризы
2) Используете систему контроля версий и без проблем отслеживаете зависимости с последующей выкаткой
30 мар 21, 19:00    [22302197]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Павел Лузанов

Из любопытства. А какие у вас причины менять тип столбцов таблицы? Не размерность varchar увеличивать случаем?

в основном изза немного кривой работы утилиты ora2pg, ни сразу увидел, что оно очень многие типы полей передало не так как нам нужно
numeric почти везде и без размера.
или float/double и тд там, где нужно с точкой и несколькими знаками после запятой.
ну и, кроме того, захотелось сделать для справочников маленьких в качестве ид инт2,
для вещей побольше инт4.
для совсем больших идешек инт8
я об этом в тайне мечтал на оракле).
30 мар 21, 19:40    [22302203]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
yob

1) Здесь вопрос в архитектуре и решается на стадии проектирования, но да, момент есть с некоторым неудобством имеется, иногда случаются сюрпризы
2) Используете систему контроля версий и без проблем отслеживаете зависимости с последующей выкаткой

1. система не с нуля же. и у нас обычно проектирование, написание, тестирование, деплой сводится к технологии "херак/херак и в продакшен"))
2. обычно выкатка "изменений" у нас заключается в "собственники решили, что теперь ценообразование целиком зависит от погоды в Гондурасе, но если нам не понравится, то прям вчера поменяйте на столетний прогноз погоды по Антарктиде".
и это боль чтото поменять в базе на которой нет серьезной нагрузки глубокой ночью с субботы на воскресенье.
30 мар 21, 19:45    [22302204]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
Maxim Boguk

Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

спасибо.
и как сейчас принято хранить блобы отдельно?
на какой ФС хотябы)
30 мар 21, 19:46    [22302205]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4691
Надфиль
Maxim Boguk

Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

спасибо.
и как сейчас принято хранить блобы отдельно?
на какой ФС хотябы)


minIO - совсем модно/молодежно
Ceph - модно/молодежно
NFS на нормальном сторадже - сурово по корпоративному
просто файловая система (ext4) + rsync - просто и в лоб (просто надо про backups не забывать)
Amazon S3 и аналоги если в облаке...

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
30 мар 21, 20:03    [22302208]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
а что у нас в PG с джобами?
pg_cron в целом норм, но как быть с джобами, которые работают чаще раза в минуту?
пока ничего кроме как вставить sleep в цикл внутри кода джоба, столько раз, сколько нужно в минуту выполнить(с соответствующей паузой), но это же не фига не освобождает процессор, и джоб будет постоянно занимать ядро. или я ошибаюсь?
спасибо.
вчера, 16:49    [22309932]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
mefman
Member

Откуда:
Сообщений: 3372
Надфиль
как быть с джобами, которые работают чаще раза в минуту?

сварить архитектора этого бреда в большом котле.
вчера, 17:12    [22309937]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
mefman

сварить архитектора этого бреда в большом котле.

и как благородный дон предлагает решать задачи требующие регулярного асинхроннного внимания с такой частотой?
например, большой склад, на место упаковки приезжаю с помощью конвеейра "тазики" с набранным товаром для одного заказа,
тазика от 1 до несколких сотен, когда "приехал" весь заказ мы, образно говоря, должны подсветить тазики одного заказа, при условии, что упаковщик собрал предыдущий подсвеченный заказ. тазики доставляться могут на место упаковки разными способами,
упаковываться тоже (с пересчетом или без например). ну и показалось, что проще раз в 10 секунд оценить "прибытие" заказов и освобождение там мощностей на упаковку, чем определять это после каждого значимого действия. помоему не плохое решение.
первоначально было, кстати, с большИм интервалом, но было высказано недовольство из за простоя лишнего в полминуты)

и что плохого в джобе раз в 10 секунд?
вчера, 17:24    [22309941]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
mefman
Member

Откуда:
Сообщений: 3372
Надфиль
mefman

сварить архитектора этого бреда в большом котле.

и как благородный дон предлагает решать задачи требующие регулярного асинхроннного внимания с такой частотой?
например, большой склад, на место упаковки приезжаю с помощью конвеейра "тазики" с набранным товаром для одного заказа,
тазика от 1 до несколких сотен, когда "приехал" весь заказ мы, образно говоря, должны подсветить тазики одного заказа, при условии, что упаковщик собрал предыдущий подсвеченный заказ. тазики доставляться могут на место упаковки разными способами,
упаковываться тоже (с пересчетом или без например). ну и показалось, что проще раз в 10 секунд оценить "прибытие" заказов и освобождение там мощностей на упаковку, чем определять это после каждого значимого действия. помоему не плохое решение.
первоначально было, кстати, с большИм интервалом, но было высказано недовольство из за простоя лишнего в полминуты)

и что плохого в джобе раз в 10 секунд?

Такую логику в современной it уже не реализуют на уровне БД.
Так что тут - только убить архитектора апстену.
вчера, 17:40    [22309952]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
Надфиль
Member

Откуда:
Сообщений: 259
mefman

Такую логику в современной it уже не реализуют на уровне БД.
Так что тут - только убить архитектора апстену.

ладно я ему передам, но во первых работает хорошо уже не один год на нескольких складах.
а во вторых я спросил не об этом.
вчера, 17:55    [22309958]     Ответить | Цитировать Сообщить модератору
 Re: PostgresSql vs Ent. Postgres  [new]
vyegorov
Member

Откуда: Баньоло-ин-Пьяно
Сообщений: 1232
Надфиль,

Мне кажется, что ваша задача по описанию подходит под описание именно очереди.
Для обработки очередей есть PGQ.

В любом случае, вам не обязательно тащить всё в базу.
Можно планирование вынести отдельно (в ОС, или в свой софт) и просто дёргать процедуры (или запросы) по расписанию.
вчера, 18:53    [22309988]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2      [все]
Все форумы / PostgreSQL Ответить