Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / PostgreSQL Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2      [все]
 Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
Всем привет, выручайте, может кто сталкивался или знает куда копать?
1С вылетает с ошибкой каждые 2 часа, потом восстанавливается сама спустя 5 мин, ошибка http://joxi.ru/eAO49R6u9Rz1er

Базы 2. Бекапы 1С делаются через постгресс, но битые, при восстановлении ошибка http://joxi.ru/5mdWLvnC3MBdZr

У второй базы бекапы даже не делаются, скрипт вылетает при попытке создания бекапа с ошибкой http://joxi.ru/5mdWLvnC3M9a6r

При попытке произвести тестирование и исправление падает с ошибкой тут http://joxi.ru/ZrJq9djTwOxnLA

При попытке выгрузить базу в dt ошибка http://joxi.ru/n2Yz9Z0Fb9aVnA

PostgreSQL версии 11-5-7-1C

1С клиент серверный вариант 1С:Предприятие 8.3 (8.3.15.1830) Управление нашей фирмой, редакция 1.6 (1.6.19.160)

Логи PostgreSQL прикладываю

К сообщению приложен файл (postgresql-Fri.zip - 34Kb) cкачать
23 июн 20, 09:05    [22155699]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Guzya
Member

Откуда:
Сообщений: 556
1. Проверьте на вирусы ОС
2. Отключите антивирус
3. В логе у Вас ошибка ОС

ntstatus.h 0xC0000005


Поэтому проверьте журналы Windows.

Дополнительно покажите postgresql.conf и если есть postgresql.auto.conf
23 июн 20, 09:51    [22155736]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
Guzya
1. Проверьте на вирусы ОС
2. Отключите антивирус
3. В логе у Вас ошибка ОС

ntstatus.h 0xC0000005


Поэтому проверьте журналы Windows.

Дополнительно покажите postgresql.conf и если есть postgresql.auto.conf


2. Антивиря нет
postgresql.conf и если есть postgresql.auto.conf прикладываю

К сообщению приложен файл (postgresql.zip - 7Kb) cкачать
23 июн 20, 09:58    [22155739]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Guzya
Member

Откуда:
Сообщений: 556
1. Сколько памяти на сервере?
2. Каков примерный объем данных?
3. Что в логах Windows?
4. Какая ОС Windows?
5. Вы меняли настройки в postgresql.conf ?

На вирусы проверьте.
23 июн 20, 10:05    [22155747]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
если виндовс - сразу в морг. ятаксчитаю
23 июн 20, 11:36    [22155836]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Shweik
Member

Откуда:
Сообщений: 1574
mefman
если виндовс - сразу в морг. ятаксчитаю

Дело не в ОС, дело в...
6000+ ошибок при развёртывании бакапа?
Бакап нормальный я считаю что вы просто не понимаете что делаете и пытаетесь его
накатить на существующую базу.
23 июн 20, 15:37    [22156086]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
Shweik
mefman
если виндовс - сразу в морг. ятаксчитаю

Дело не в ОС, дело в...
6000+ ошибок при развёртывании бакапа?
Бакап нормальный я считаю что вы просто не понимаете что делаете и пытаетесь его
накатить на существующую базу.

У него еще и одноце ((( точно в морг.
23 июн 20, 16:15    [22156118]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 3663
Dimonas,

а что это за версия: "PostgreSQL версии 11-5-7-1C" ?
24 июн 20, 16:55    [22156650]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
Ролг Хупин, Да
25 июн 20, 12:58    [22157158]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
Shweik, при попытке создать бекап падает с ошибкой:

< 2020-06-25 07:08:30.822 MSK >ERROR: invalid memory alloc request size 7247872001
< 2020-06-25 07:08:30.822 MSK >STATEMENT: COPY public._inforg15978 (_fld15979rref, _fld15980rref, _fld15981, _fld15982, _fld333) TO stdout;
25 июн 20, 13:01    [22157160]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
хехе
С похожей ошибкой столкнулись в один прекрасный момент но только при попытке загрузить базу из архивного дампа. Пляски с бубнами и настройками постгря под виндой не помогли , пришлось в экстренном порядке разворачивать слона под линуксами - там дамп загрузился.

С форума одноцэ

for i in range(10000):
   print("Не используйте Postgres под Windows!")


Сообщение было отредактировано: 25 июн 20, 13:12
25 июн 20, 13:11    [22157167]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Guzya
Member

Откуда:
Сообщений: 556
Ранее спрашивал:

Guzya
1. Сколько памяти на сервере?
2. Каков примерный объем данных?
3. Что в логах Windows?
4. Какая ОС Windows?
5. Вы меняли настройки в postgresql.conf ?

На вирусы проверьте.
25 июн 20, 14:54    [22157223]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Guzya
Member

Откуда:
Сообщений: 556
У Вас сервер виртуальный, если да, то на чем?
25 июн 20, 15:19    [22157241]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
mefman, там на моей текущей ошибке только в другом регистре и закончили обсуждение
Я развернул линукс, но как туда перенести базы, если они не выгружаются бекапом
25 июн 20, 15:19    [22157242]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
Guzya, на данный момент обычный на Windows Server 2008 R2 Enterprise
Линукс поднял на виртуалке
25 июн 20, 15:21    [22157245]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
Guzya,
1. 32 Гб
2. Базы весят под 200 Гб
3. Не проверял
4. Windows Server 2008 R2 Enterprise 64
5. Вроде нет
25 июн 20, 15:24    [22157248]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
Dimonas
mefman, там на моей текущей ошибке только в другом регистре и закончили обсуждение
Я развернул линукс, но как туда перенести базы, если они не выгружаются бекапом

Команда "бекапа" какая?
25 июн 20, 15:30    [22157254]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Guzya
Member

Откуда:
Сообщений: 556
Предлагаю попробовать:
в postgresql.conf вместо
shared_buffers = 2048MB
effective_cache_size = 24GB
maintenance_work_mem = 1023MB


прописать

shared_buffers = 8192MB
effective_cache_size = 12GB
maintenance_work_mem = 1024MB


и перезагрузить postgres.
25 июн 20, 15:36    [22157258]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
Guzya, что это даст?
25 июн 20, 15:38    [22157259]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
mefman, да я пробую штатным pgadmin4 http://joxi.ru/1A59BXJcD5NLPA
25 июн 20, 15:39    [22157262]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
mefman
Dimonas
mefman, там на моей текущей ошибке только в другом регистре и закончили обсуждение
Я развернул линукс, но как туда перенести базы, если они не выгружаются бекапом

Команда "бекапа" какая?

можно попробовать поиграть с
--inserts
--rows-per-insert
25 июн 20, 15:41    [22157266]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
mefman
mefman
пропущено...

Команда "бекапа" какая?

можно попробовать поиграть с
--inserts
--rows-per-insert


Без понятия что это за игры
25 июн 20, 15:47    [22157271]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
Dimonas
mefman
пропущено...

можно попробовать поиграть с
--inserts
--rows-per-insert


Без понятия что это за игры

какой командой делается "бекап"?
25 июн 20, 15:51    [22157273]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Guzya
Member

Откуда:
Сообщений: 556
Dimonas
Guzya, что это даст?


Меняем настройки памяти для postgres.
25 июн 20, 15:58    [22157279]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
mefman

какой командой делается "бекап"?


Скрин http://joxi.ru/1A59BXJcD5NLPA
25 июн 20, 16:01    [22157284]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
Dimonas
mefman

какой командой делается "бекап"?


Скрин http://joxi.ru/1A59BXJcD5NLPA

У вас там вызывается pg_dump.
Вот и попробуйте добавить к pg_dump параметр --inserts
25 июн 20, 16:14    [22157297]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Guzya
Member

Откуда:
Сообщений: 556
Dimonas
mefman

какой командой делается "бекап"?


Скрин http://joxi.ru/1A59BXJcD5NLPA


Попробуйте найти pg_dump по пути установки postgres.
25 июн 20, 16:16    [22157298]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
Guzya
Dimonas
пропущено...


Скрин http://joxi.ru/1A59BXJcD5NLPA


Попробуйте найти pg_dump по пути установки postgres.

Не надо ничего искать. У него там команда целиком отображена.
Вот ее и надо выполнить руками, добавив параметров по вкусу.
25 июн 20, 16:21    [22157302]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Guzya
Member

Откуда:
Сообщений: 556
mefman
Guzya
пропущено...


Попробуйте найти pg_dump по пути установки postgres.

Не надо ничего искать. У него там команда целиком отображена.
Вот ее и надо выполнить руками, добавив параметров по вкусу.


Мне показалось странным, что pg_dump лежит не в postgres, а в pgAdmin.
25 июн 20, 16:29    [22157306]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
Guzya
mefman
пропущено...

Не надо ничего искать. У него там команда целиком отображена.
Вот ее и надо выполнить руками, добавив параметров по вкусу.


Мне показалось странным, что pg_dump лежит не в postgres, а в pgAdmin.

pgAdmin на виндузе вроде со своими бинарями идет. Хз, я им не пользуюсь.

Сообщение было отредактировано: 25 июн 20, 16:55
25 июн 20, 16:55    [22157325]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
mefman
Dimonas
пропущено...


Скрин http://joxi.ru/1A59BXJcD5NLPA

У вас там вызывается pg_dump.
Вот и попробуйте добавить к pg_dump параметр --inserts


Вот команда бекапа, куда добавлять?

C:\Program Files\PostgreSQL\11.5-7.1C\bin\pg_dump.exe --file "D:\\backup\\21-06-2020\\333.sql" --host "localhost" --port "5432" --username "postgres" --no-password --verbose --format=c --blobs "base_am"
25 июн 20, 17:47    [22157368]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
Guzya
Предлагаю попробовать:
в postgresql.conf вместо
shared_buffers = 2048MB
effective_cache_size = 24GB
maintenance_work_mem = 1023MB


прописать

shared_buffers = 8192MB
effective_cache_size = 12GB
maintenance_work_mem = 1024MB


и перезагрузить postgres.


Не прокатило, ошибка:
< 2020-06-25 18:16:38.497 MSK >ERROR: invalid memory alloc request size 8589934587
< 2020-06-25 18:16:38.497 MSK >STATEMENT: COPY public._inforg15978 (_fld15979rref, _fld15980rref, _fld15981, _fld15982, _fld333) TO stdout;
< 2020-06-25 18:16:38.568 MSK >LOG: could not receive data from client: An existing connection was forcibly closed by the remote host.
25 июн 20, 18:25    [22157402]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Dimonas
Member

Откуда:
Сообщений: 14
Еще вопрос, как это сделать:
Дампы процессов СУБД можно снять утилитой procdump. Для этого можно запустить procdump на ожидание завершения процесса. При этом дамп будет снят как только процесс будет завершен (ключ -t):
procdump -t -ma PID_процесса
Если разрядность процесса, с которого снимается дамп, x64 то укажите дополнительно ключ «-64».
Дамп будет записан в каталог откуда запускался procdump.

То есть Вам необходимо выяснить, сколько процессов Postgres работает в системе и для каждого настроить procdump на ожидание завершения процесса. А как только один из них аварийно завершиться (именно аварийно, а не штатно, так как дамп будет снят в обоих случаях), будет сделан дамп который и нужно прислать нам вместе с логом postgres.
25 июн 20, 19:40    [22157438]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
Dimonas
Еще вопрос, как это сделать:
Дампы процессов СУБД можно снять утилитой procdump. Для этого можно запустить procdump на ожидание завершения процесса. При этом дамп будет снят как только процесс будет завершен (ключ -t):
procdump -t -ma PID_процесса
Если разрядность процесса, с которого снимается дамп, x64 то укажите дополнительно ключ «-64».
Дамп будет записан в каталог откуда запускался procdump.

То есть Вам необходимо выяснить, сколько процессов Postgres работает в системе и для каждого настроить procdump на ожидание завершения процесса. А как только один из них аварийно завершиться (именно аварийно, а не штатно, так как дамп будет снят в обоих случаях), будет сделан дамп который и нужно прислать нам вместе с логом postgres.

это уже вопрос дебага в виндус. безотносительно субд.
25 июн 20, 20:11    [22157447]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4170
Dimonas

Не прокатило, ошибка:
< 2020-06-25 18:16:38.497 MSK >ERROR: invalid memory alloc request size 8589934587
< 2020-06-25 18:16:38.497 MSK >STATEMENT: COPY public._inforg15978 (_fld15979rref, _fld15980rref, _fld15981, _fld15982, _fld333) TO stdout;
< 2020-06-25 18:16:38.568 MSK >LOG: could not receive data from client: An existing connection was forcibly closed by the remote host.


А вы просто зайдя в нужную базу и выполнив запрос вида
select * from public._inforg15978;
тоже получаете ошибку?

Если да то у вас или база побита уже на диске (что вероятнее) либо какие то проблемы с сервером (память битая?) что сильно менее вероятно.
Если база на диске побита то ничего кроме как восстановить ее из рабочего backup нормально не сделать.

Или принять что вот эта конкретная таблица у вас побита физически (и какие то данные в ней не достать) и исключить ее из backup.
(если такая таблица только одна наверное это самый простой путь).

ps: зная любителей 1С - у вас база случайно не с fsync=off работает(работала в прошлом)? А сбоев по электричеству не было?
26 июн 20, 10:02    [22157621]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
mefman
Member

Откуда:
Сообщений: 2957
Maxim Boguk,
В случае, если битая выгрузить построчно через
pg_dump --inserts не получится?
26 июн 20, 10:46    [22157661]     Ответить | Цитировать Сообщить модератору
 Re: Проблема с базами на PostgreSQL. Не работает. Не бекапит. Не восстанавливает.  [new]
Maxim Boguk
Member

Откуда: Melbourne, Австралия
Сообщений: 4170
mefman
Maxim Boguk,
В случае, если битая выгрузить построчно через
pg_dump --inserts не получится?


Нет... база сначала всёравно будет пытаться вычитать (всю таблицу причем в транзакции) а потом уже писать в dump (и по пути вычитывания всей таблицы и сломается).
Т.е. --inserts дают построчную загрузку но не построчную (с т.з. вычитывания данных) выгрузку.

другой вопрос что можно по primary key скриптом перебрать все строчки проблемной таблицы и выгрузить ПОСТРОЧНО в новую таблицу те что получилось считать из битой таблицы (а далее уже новую таблицу dump ом выгрузить).
главное построчный перебор вне транзакции делать.

Проще всего такие вещи через psql + /gexec делать (вообще /gexec самое лучшее добавление в psql за последние 20 лет для dba и автоматизации).

Сообщение было отредактировано: 26 июн 20, 11:50
26 июн 20, 11:42    [22157694]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2      [все]
Все форумы / PostgreSQL Ответить