Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
 SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Добрый день. просьба не судить за некоторые огрехи. Я чайник :) Точнее нечто среднее :)

Если все изложу не так - лучше подскажите как объяснить а не кидайте тапками

Суть такова - сеть магазинов - в каждом стоит (опять не надо кидать тапками оно уже есть оно работает и переделывать на мега правильный образец не кто не будет - оно же работает, пока оно вообще не перестанет работать, жадность она такая) по i3 и 16-32 гига оперативы винты под систему винты под базу (малочисленные магазины 1 винт на все), количество пользователей от 5 до 15 . Базы уже по 30+ или от 20+ гигов. Первое на единичных серваках собраных по принципу i3 + HDDSata 3 система бекапы + NVME база + temp все (база, винда, пользователи) тут база даже разбита на 2 файла и 3% занимает от основной базы свободное место на остальных более 10% + при этом бекапы на одинаковых базах на той где 3% свободного места - 7 гигов (модель восстановления простая) а на там где более 10% в одних так же 7 гигов в других 10 в третьих 12 или 13 гигов. В среднем базы по 30 + гигов

Беда в том что бекапы надо свести к минимуму - ибо свыше 10 гигов уже долго выкачиваются на сервер центральный за ночь не успевают. Пережимать через 1с каждую неделю долго - не автоматизируешь. и по ночам спать хочется :)
Да и сами базы с сильно большим свободным местом резервируемым под себя пугают

На сервере теперь уже выполняются регламентные:
раз в неделю - (бекап, проверка базы, переиндексация выборочная ввиде скрипта, обновление статистики, чистка кеша, полный бекап, чистка журнала свыше недели, подрезка журнала транзакций)
каждую ночь - тоже самое без проверки на ошибки
каждое утро - переиндексация выборочная ввиде скрипта, обновление статистики и чистка кэша
днем - переиндексация выборочная ввиде скрипта чистка кэша

Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?

Модератор: Тема перенесена из форума "MySQL".


Сообщение было отредактировано: 23 сен 18, 15:05
23 сен 18, 12:47    [21683058]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
L_argo
Member

Откуда:
Сообщений: 1187
К-л ценные советы по сабжу маловетоятны.

- Поставьте сильнее железо.
- Найдите другую работу :)
23 сен 18, 19:44    [21683293]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
L_argo
К-л ценные советы по сабжу маловетоятны.

- Поставьте сильнее железо.
как оно повлияет на размер бекапа и физически увеличивающее место у самой базы - оно резервируется под что ?
- Найдите другую работу :)

и что это мне добавит знаний ?
23 сен 18, 21:26    [21683370]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Batman1978,

Вот лучше вообще не писать такие ответы .. я совета толкового попросил а не флуд
23 сен 18, 21:28    [21683372]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Batman1978
Я чайник :)

На сервере теперь уже выполняются регламентные:
...бекап...полный бекап...
каждую ночь - тоже самое без проверки на ошибки

Я таки Вам одну умную вещь скажу, а Вы попробуйте ее осмыслить. Судя по описанию процессов - у Вас НЕТ бэкапов. У Вас есть некие файлы, которые Вы считаете бэкапами, потому что задание, которое выполняет сервер, проходит без ошибок.
Вы не учитываете тот факт, что диск, на который свалена куча файлов "бэкапов", может иметь bad sectors.

А отсюда вывод - когда Вам потребуется бэкап, окажется, что файл не читается сервером. Или что хуже - внутри структуры БД давно какая-то ошибка, которая дает выполнять бэкап, но не дает делать рестор базы.

И глобальный вывод - если Вы не проверяете каждый бэкап, который сделали, желательно на этом же или таком же сервере, не только на длительность рестора (а когда база упадет, бизнес спросит у Вас - "через какое время все будет работать"), но и на физическую возможность рестора.

Сначала оптимизируйте этот процесс и включите его в регламент. А уже потом страдайте от размеров бэкапов (когда они станут бэкапами, а не мусорной кучей файлов с расширением .bak) и пытайтесь что-либо оптимизировать.
23 сен 18, 23:46    [21683423]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Andy_OLAP,

Я правильно вас понимаю - что если я сейчас из того бекапа который мне кажется большим - не смогу восстановить базу - тогда это решение проблемы ? А если смогу - тогда что ?
24 сен 18, 01:58    [21683476]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31328
Batman1978
Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?
Размер бакапа зависит от размера данных в базе, и не зависит от размера свободного места. (за исключением влияния заполненности страниц)
Соответственно, уменьшить бакапы можно уменьшением количества данных.

Ещё вариант - можно сжимать бакапы какой нибудь утилитой, это более эффективно, чем штатное сжатие бакапа.

Кстати, надеюсь, сжатие бакапа вы используете?
24 сен 18, 09:15    [21683538]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Владимир Затуливетер
Member

Откуда:
Сообщений: 427
Как уже посоветовали попробуйте сжатие если не используете пока.

+ Посмотрите что еще в базах лежит, может быть есть что-то что можно просто грохнуть?...
24 сен 18, 13:23    [21683891]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
alexeyvg
Batman1978
Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?

Размер бакапа зависит от размера данных в базе
Это все понятно, я же не совсем глупый раз планов по наделал :)
но на одинаковых по размерам базах (одни показывают доступное место 13 гигов - другие 1% свободного) а по факту база под 30 гигов плюс минус 2-3 гига.. Но при этом бекап варируется от 6 до 13 гигов.
, и не зависит от размера свободного места. (за исключением влияния заполненности страниц)
это все тоже понятно но мы же смотрим на факт база весит 30 гигов ... пережимаешь через ДТ из под 1с и у базы уходит свободное место она чуть ужимается (2-3 гига) и бекап падает с 13 до 6 гигов но через день и перестроение индексов снова у базы раздувает свободное место
Соответственно, уменьшить бакапы можно уменьшением количества данных.
не вариант это торговая база - там и так делается удаление удаленных обьектов

Ещё вариант - можно сжимать бакапы какой нибудь утилитой, это более эффективно, чем штатное сжатие бакапа.
у меня в настройках сервера стоит сжатие модель восстановление простая - в самом плане тоже в бекапе стоит сжатие на случай если кто умный чета на сервере поправит .... это на всех серверах такие настройки. еще его зипом пережать ? сомневаюсь что будет результат
но я попробую .. вот прям сейчас начал

Кстати, надеюсь, сжатие бакапа вы используете?

о да
24 сен 18, 16:32    [21684332]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
SERG1257
Member

Откуда:
Сообщений: 2724
я бы перевел базы в FULL RECOVERY и организовал log shipping на центральный сервер.
Переиндексацию оставил на раз в неделю
Полный бакап - раз в неделю сразу после переиндексации
DBCC CHECKDB раз в неделю
24 сен 18, 18:28    [21684484]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31328
Batman1978
у меня в настройках сервера стоит сжатие модель восстановление простая - в самом плане тоже в бекапе стоит сжатие на случай если кто умный чета на сервере поправит .... это на всех серверах такие настройки. еще его зипом пережать ? сомневаюсь что будет результат

Вы проверьте, сжатые у вас бакапы, или нет, поле Compressed.
RESTORE HEADERONLY
FROM DISK = N'полное имя файла с бакапом'
WITH NOUNLOAD;

А зип, или что то подобное, сжимает лучше, чем сжатие в сиквеле. Как вариант, можно даже делать несжатый бакап, и потом сжимать самому (лучше 7z). Может, выиграете раза в 2
24 сен 18, 18:29    [21684486]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31328
Batman1978
но на одинаковых по размерам базах (одни показывают доступное место 13 гигов - другие 1% свободного) а по факту база под 30 гигов плюс минус 2-3 гига.. Но при этом бекап варируется от 6 до 13 гигов.
Вы сделайте 2 раза бакап одной базы, с паузой минут 10 между бакапами

У меня есть такой опыт, когда бакапы файлов базы монотонно и постепенно возрастают в размерах, если их делать друг за другом без паузы. От 10 гигов до 30. Если делать с паузой, то всегда 10

Попробуйте, любопытно.
24 сен 18, 18:39    [21684500]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
komrad
Member

Откуда: Msk -> Utrecht
Сообщений: 5230
alexeyvg
Как вариант, можно даже делать несжатый бакап, и потом сжимать самому (лучше 7z). Может, выиграете раза в 2


несжатый бекап требует больше времени и дискового пространства
из практики, сжатый делается в разы быстрее и может весить раза в 3 меньше, чем несжатый

лучше потом, при желании, зипом дожать, чем полноразмерный сначала на диск писать, а потом еще и ворочать его
24 сен 18, 18:51    [21684510]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Batman1978
Andy_OLAP,

Я правильно вас понимаю - что если я сейчас из того бекапа который мне кажется большим - не смогу восстановить базу - тогда это решение проблемы ? А если смогу - тогда что ?

Это такая шутка? А Вы хотя бы один раз пробовали восстанавливать базу из бэкапа, на другой сервер, не поверх существующей? Или Вам как новенькому поставлена задача обеспечить наличие бэкапов, а в час X, когда все умрет, начальство вызовет суперспециалиста, и уже он посмотрит, какие бэкапы свежие, какие в каком порядке накатывать и так далее?
24 сен 18, 19:40    [21684552]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31328
komrad
лучше потом, при желании, зипом дожать, чем полноразмерный сначала на диск писать, а потом еще и ворочать его
В принципе всё правильно, но не уверен, что файлы после 7z получится одинакового размера, если взять исходный сжатый и несжатый бакапы.
24 сен 18, 20:46    [21684637]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
alexeyvg,

Не совсем понял у меня бекапы делаются в 10 вечера и в 5 утра - что бы не мешать магазину работать ибо тормоза дикие при бекапах от 6 гигов и выше хоть он на не SSD винтах делается 8 минут - магазин в это в время просто колом стоит на ссд 7.5 гигов с примерно такой же базы делается 52 секунды
но все равно ... за год работы у нас только 1 раз упала база и то ... сама по себе перешла в режим емердженсе и синг юзер ... за 3 дня я ее отреставрировал собрал новый сервак и теперь она самая лучшая по скорости работы

какой смысл ?
25 сен 18, 23:01    [21686034]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Владимир Затуливетер
Как уже посоветовали попробуйте сжатие если не используете пока.

+ Посмотрите что еще в базах лежит, может быть есть что-то что можно просто грохнуть?...


подскажите как ?
25 сен 18, 23:03    [21686036]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Владимир Затуливетер
Как уже посоветовали попробуйте сжатие если не используете пока.

У меня 2 раза стоит сжатие по умолчанию на сервере и в планах обслуживания по бекапам
читайте внимательнее

+ Посмотрите что еще в базах лежит, может быть есть что-то что можно просто грохнуть?...
25 сен 18, 23:04    [21686037]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
alexeyvg
Batman1978
Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?
Размер бакапа зависит от размера данных в базе, и не зависит от размера свободного места. (за исключением влияния заполненности страниц)
Соответственно, уменьшить бакапы можно уменьшением количества данных.

Ещё вариант - можно сжимать бакапы какой нибудь утилитой, это более эффективно, чем штатное сжатие бакапа.
сегодня выкатил без сжатия 35 гигов - сжал сен зип - на 12% пожало лучше чем скуль - скуль 10400 зип 9200 но зип это делал 3 часа на i5 а скуль за 8 минут :)

Кстати, надеюсь, сжатие бакапа вы используете?
25 сен 18, 23:06    [21686038]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
SERG1257
я бы перевел базы в FULL RECOVERY и организовал log shipping на центральный сервер.
читайте выше - запрещено использовать диф бекапы
Переиндексацию оставил на раз в неделю
при том что у меня торговля бьет по 2 тыщи чеков если не больше - постоянно что-то принимают на склад .. удаляют доки создаю новые - я пробывал реже делать - тогда я буду чаще через дт и 1с перегонять базу - при 30 гигах и без постоянного переиндексирования - она умирает ... может вы путаете с перестроением ?
у меня скрипты с выборочной переиндексацией - работает на много быстрее и эфективнее чем скульное все перестроить все переиндексировать - я бы еще спасибо сказал за скрипт обновления статистики оптимальный - так как скулевский ну все подряд обновляет - а если там не было записей ?
Полный бакап - раз в неделю сразу после переиндексации
за это меня руководство просто уволит и все - падение винта - без бекапа ... не лучше сразу по собственному
DBCC CHECKDB раз в неделю

так и делаю - я же писал какие планы в шапке
25 сен 18, 23:11    [21686041]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Andy_OLAP
Batman1978
Andy_OLAP,

Я правильно вас понимаю - что если я сейчас из того бекапа который мне кажется большим - не смогу восстановить базу - тогда это решение проблемы ? А если смогу - тогда что ?

Это такая шутка? А Вы хотя бы один раз пробовали восстанавливать базу из бэкапа, на другой сервер, не поверх существующей? Или
вчера специально развернул в очередной раз на другом железе бекап смущающего меня магазина - вытащил из него простой не сжатый снова сжал зипером

Вам как новенькому поставлена задача обеспечить наличие бэкапов, а в час X, когда все умрет, начальство вызовет суперспециалиста, и уже он посмотрит, какие бэкапы свежие, какие в каком порядке накатывать и так далее?

да и не раз - я себе для тестирования той или иной проблемы постоянно бекапы с магазина забираю - разворачиваю базу и тестирую ошибки 1с исправляю и т.д.
не на живой же базе - а если что-то пойдет не так

вы можете без стеба предложить что-то дельное ?
что вы мне все время про жизнь ?
я написал сюда не скуки ради

есть дельный совет ? нет - проходите мимо
почитайте лучше что другие пишут
25 сен 18, 23:17    [21686047]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
alexeyvg
Batman1978
но на одинаковых по размерам базах (одни показывают доступное место 13 гигов - другие 1% свободного) а по факту база под 30 гигов плюс минус 2-3 гига.. Но при этом бекап варируется от 6 до 13 гигов.
Вы сделайте 2 раза бакап одной базы, с паузой минут 10 между бакапами

У меня есть такой опыт, когда бакапы файлов базы монотонно и постепенно возрастают в размерах, если их делать друг за другом без паузы. От 10 гигов до 30. Если делать с паузой, то всегда 10

Попробуйте, любопытно.


mag1_backup_2018_09_25_221903_9740445.bak в 22:24 закончился 10,4 гига
на диске 9,99 ГБ (10 732 314 624 байт)
mag1_backup_2018_09_25_223001_4048445.bak d 22:33 закончился 10.4 гига
на диске 9,99 ГБ (10 732 298 240 байт)

причем - это было в 22 вечера бекап по плану бекапирования но запустился позже я винты тестировал
а второй по плану обслуживания сделан
не монотонно в разные временные отрезки - эффекта радующего не видно
25 сен 18, 23:24    [21686052]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Batman1978,

Меня волнует вопрос - почему база себе резервирует много свободного места ?
может вам так понятнее будет - я подписал старые новые и где на ссд стоит база
причем на ссд база емкостью 90 гигобайт так же мало места резервирует себе а емкостью 200 гигов тоже на быстрых nvme резервирует порядка 20 гигов

К сообщению приложен файл. Размер - 45Kb
25 сен 18, 23:37    [21686063]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Batman1978,

К сообщению приложен файл. Размер - 41Kb
25 сен 18, 23:37    [21686064]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Batman1978,

Это на простом не ссд и свеже созданная буквально с болванки с апреля работает

К сообщению приложен файл. Размер - 48Kb
25 сен 18, 23:39    [21686067]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить