Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4   вперед  Ctrl      все
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Batman1978,

Старая база но на новом сервере ссд 970evo nvme pci x4

К сообщению приложен файл. Размер - 41Kb
25 сен 18, 23:40    [21686068]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Batman1978,

Одна из первых баз на простом сервере без ссд

К сообщению приложен файл. Размер - 45Kb
25 сен 18, 23:41    [21686069]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Batman1978,

не подписал первых два скрина там где 200 гиговая это на голдах сервер базы на 960 серии эво лежит

вторая картинка свеже пережатая через дт база все они делают кроме первого магазина по 6 гигов бекапы 200 гиговую не с чем сравнить
25 сен 18, 23:43    [21686072]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
AndrF
Member

Откуда:
Сообщений: 2183
Batman1978
На сервере теперь уже выполняются регламентные


Я правильно понимаю, что бэкапы вы делаете только Full, а Diff и Log не поймете зачем нужны?

Batman1978
подрезка журнала транзакций)


Случаем не переводом базы в Simple?
26 сен 18, 00:03    [21686088]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Siemargl
Member

Откуда: 010100
Сообщений: 6330
AndrF,

1 магазин, а база 20-30Гб o_O

наверное за 300 лет с не собранными логами
26 сен 18, 01:08    [21686103]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 30791
Batman1978
Меня волнует вопрос - почему база себе резервирует много свободного места ?
Свободное место появляется либо при удалении данных, либо при росте файла, если установлен большой шаг прироста базы. Но этот шаг нежелательно делать слишком маленьким, т.к. будет медленно работать.
26 сен 18, 01:08    [21686104]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 30791
AndrF
Batman1978
подрезка журнала транзакций)


Случаем не переводом базы в Simple?
У него же всегда симпл.
Мне тоже непонятно, что такое "подрезка", в документации про неё ничего нет :-)
Может, это шринк? Тогда непонятно, зачем его делать, что бы помедленнее было?
26 сен 18, 01:10    [21686105]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Andy_OLAP
Member

Откуда: я знаю, что Хапоэль Беэр-Шева - чемпион
Сообщений: 3151
Batman1978
у меня бекапы делаются в 10 вечера и в 5 утра - что бы не мешать магазину работать ибо тормоза дикие при бекапах от 6 гигов и выше хоть он на не SSD винтах делается 8 минут - магазин в это в время просто колом стоит на ссд 7.5 гигов с примерно такой же базы делается 52 секунды

Давайте таки проясним такую деталь. У Вас на каждом из магазинных серверов стоит по три диска HDD или SSD, "HDDSata 3 система бекапы + NVME база + temp все где лежат", получается, что файлы базы .mdf и файлы журналов .ldf лежат на диске D, который NMVE, а файлы бэкапов .bak на диске C, который или HDD, или SSD?

У Вас для NMVE используются родные драйверы Samsung/Toshiba/Plextor или стандартный от Microsoft? Вы в курсе, что стандартный драйвер из Редмонда по дефолту включает дополнительную защиту от потери питания и поэтому не позволяет контроллеру производить упорядочивание операций записи, а когда чтение в рамках бэкапа совмещается с записью сразу в mdf и ldf на том же физическом PCI Express диске - у Вас и начинаются дикие тормоза.
26 сен 18, 01:42    [21686107]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
AndrF
Member

Откуда:
Сообщений: 2183
[quot alexeyvg]
AndrF
пропущено...
У него же всегда симпл.


Ну тогда это его первая ошибка. Правильное расписание бэкапа позволило бы создавать их быстро (все же Diff и Log делаются заметно быстрей чем Full и имеют маленький размер) и иметь возможность восстановления практически на любое время.

А 30..100 GB база - это вообще мелочь...
26 сен 18, 01:48    [21686109]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
PizzaPizza
Member

Откуда:
Сообщений: 309
Batman1978
В среднем базы по 30 + гигов


Шо, рили?
Простой вопрос: а нафига? Ну вот ради даже интереса - неужели в магазинах используют все 30 гигов данных каждый день, ну или раз в квартал хотя бы?

Я бы сделал партицирование, старые данные поставил бы в RO и не бекапировал по сто раз, тогда и не придется гонять гиги по сети.
26 сен 18, 01:50    [21686110]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Гавриленко Сергей Алексеевич
Member

Откуда: Moscow
Сообщений: 36695
AndrF
Ну тогда это его первая ошибка. Правильное расписание бэкапа позволило бы создавать их быстро (все же Diff и Log делаются заметно быстрей чем Full и имеют маленький размер) и иметь возможность восстановления практически на любое время.
Месяц назад проводил эксперимент. Результаты были такие:
Я
Провел эксперимент: вместо полного бэкапа сделал диф ровно через сутки после полного.
Результаты следующие:
· время создания диф-бэкапа составило 11 часов 56 минут, что незначительно дольше, чем создание полного бэкапа (за последнюю неделю колебалось от 10 часов 38 минут до 11 часов 35 минут)
· размер диф-бэкапа составил xxx ТБ, что всего на ~20% меньше размера полного бэкапа

З.Ы. Ну, не 1с у нас, да.

Сообщение было отредактировано: 26 сен 18, 02:01
26 сен 18, 01:59    [21686112]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
AndrF
Member

Откуда:
Сообщений: 2183
Гавриленко Сергей Алексеевич
З.Ы. Ну, не 1с у нас, да.


Ну в вашем варианте, судя по всему, идет дюже активная модификация базы во время работы, оттого и DIFF-ы такого размера. В базах типа 1C такого при обычной работе нет.
26 сен 18, 02:18    [21686114]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
AndrF
Batman1978
На сервере теперь уже выполняются регламентные


Я правильно понимаю, что бэкапы вы делаете только Full, а Diff и Log не поймете зачем нужны?

Batman1978
подрезка журнала транзакций)


Случаем не переводом базы в Simple?



неправильно меня поняли - Я знаю разницу между дифом и полным

у меня база в симпле

читайте всю ветку внимательно

не выдерайте из контекста слова
26 сен 18, 02:32    [21686121]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Andy_OLAP
Batman1978
у меня бекапы делаются в 10 вечера и в 5 утра - что бы не мешать магазину работать ибо тормоза дикие при бекапах от 6 гигов и выше хоть он на не SSD винтах делается 8 минут - магазин в это в время просто колом стоит на ссд 7.5 гигов с примерно такой же базы делается 52 секунды

Давайте таки проясним такую деталь. У Вас на каждом из магазинных серверов стоит по три диска HDD или SSD, "HDDSata 3 система бекапы + NVME база + temp все где лежат", получается, что файлы базы .mdf и файлы журналов .ldf лежат на диске D, который NMVE, а файлы бэкапов .bak на диске C, который или HDD, или SSD?

--Нет стандартный набор для магазина Сата3 на систему Сата 3 на бекапы временные (перед новым бекапом он удаляется и пишется новый) и базу MDF и LDF лежат на одном диске - только не надо сразу вой о том что надо на разные диски в рейды и т.д. я про это все знаю я струдом уговорил вообще поставить отдельно диск - раньше вообще все на одном было как в ноуте 1 винт в сервере
пока базы были новые и в них было мало данных все замечтательно работало. Пока не будет диких тормозов бизнес не даст добро на модифицирование сервера .. я и так с трудом 1 магазин сделал на новой версии - 1 винт под систему - 1 винт под беки - и НВМЕ под базу.
Прошу принять за данность и больше к обсуждению моих недостатков не возвращаться :)

У Вас для NMVE используются родные драйверы Samsung/Toshiba/Plextor или стандартный от Microsoft? Вы в курсе, что стандартный драйвер из Редмонда по дефолту включает дополнительную защиту от потери питания и поэтому не позволяет контроллеру производить упорядочивание операций записи, а когда чтение в рамках бэкапа совмещается с записью сразу в mdf и ldf на том же физическом PCI Express диске - у Вас и начинаются дикие тормоза.

--Давайте сразу рамки поставим - беки делаются в нерабочее время - это 5 и 10 утра ... в это время крутятся только регламенты - они там не нагружают винты скорее процы шелестят
- но ваша мысль мне интересна я проверю сайт самсов на драйваера - поставлю их на 2 серверах и проверю разницу до - у меня как раз есть синтетика на базе кристал диска по скоростям - могу выложить вам для сравнения - кстати там ссд на сата3 интеловые хорошие nwme на m2 в материнке (вот кто придумал это - руки отрубить ему - так убить скоростя на винте еще надо бы придумать) и разные модели ево нвме на pci x4


наконец таки от вас пошел конструктив, но опять же помоему вы все не туда смотрите - я тоже часто использую метод научного тыка :) поразительные порой дает результаты
26 сен 18, 02:44    [21686122]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Siemargl
AndrF,

1 магазин, а база 20-30Гб o_O

наверное за 300 лет с не собранными логами


вот далось оно вам ?

чистая база с 30 тысячами или больше номенклатуры цены справочники еще черт знает сколько всего - без движений без документов - заготовка для нового магазина 22 гига - что там не собранных логов отчего им там быть

не уводите и не сбивайте с темы народ
26 сен 18, 02:46    [21686123]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
AndrF
Member

Откуда:
Сообщений: 2183
[quot Batman1978]
AndrF
пропущено...
у меня база в симпле


Ну и зачем? У вас мог бы раз в месяц делаться Full, раз в день Diff и раз в три-четыре часа Log (к примеру). В результате у вас был бы один крупный файл бэкапа и кучка намного меньшего размера. Копировать и хранить все хозяйство вам было бы значительно легче чем сейчас.
26 сен 18, 02:46    [21686124]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
alexeyvg
Batman1978
Меня волнует вопрос - почему база себе резервирует много свободного места ?
Свободное место появляется либо при удалении данных, либо при росте файла, если установлен большой шаг прироста базы. Но этот шаг нежелательно делать слишком маленьким, т.к. будет медленно работать.


каждая база это близнец другой отличие только в одной песка 100 мешков в другой 300
ели что-то удалится много значит удалится в другой все магазины торгуют одним и тем же товаром в разных точках
рост файла 200 мб
лог прирост 50 мб
26 сен 18, 02:49    [21686125]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
AndrF
Member

Откуда:
Сообщений: 2183
Batman1978
--Давайте сразу рамки поставим - беки делаются в нерабочее время - это 5 и 10 утра ... в это время крутятся только регламенты - они там не нагружают винты скорее процы шелестят


Вообще же бэкап базы в ~30 GB на диск делается за 3..5 минут . Если у вас явно больше, то дело в железе...
26 сен 18, 02:51    [21686126]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
alexeyvg
Batman1978
Меня волнует вопрос - почему база себе резервирует много свободного места ?
Свободное место появляется либо при удалении данных, либо при росте файла, если установлен большой шаг прироста базы. Но этот шаг нежелательно делать слишком маленьким, т.к. будет медленно работать.


операция - выгружаем базу в ДТ - потом удаляем на сервере - создаем пустую - заливаем опять из ДТ
у нас чистая база - пережатая переиндексированная и т.д. от 1с - свободного места менее 1%
проходит день - ночью после переиндексации выборочной - кому надо индексироваться того и индексироем - обновляем статистику - на следующий день база резервирует 10 гигов себе места я скрин выложил маг 8
что за день успели удалить 20 тысяч чеков - бред
чек диск базы ошибок не показывает

просто взять и залить данные в новую базу ? 10 гигов инфы через обмен представляете сколько это времени уйдет на просто проверить ?
26 сен 18, 02:53    [21686127]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
[quot AndrF]
alexeyvg
пропущено...


Ну тогда это его первая ошибка. Правильное расписание бэкапа позволило бы создавать их быстро (все же Diff и Log делаются заметно быстрей чем Full и имеют маленький размер) и иметь возможность восстановления практически на любое время.

А 30..100 GB база - это вообще мелочь...


Диф не обсуждается - я же писал выше
Все фул и режим базы симпл
26 сен 18, 02:54    [21686128]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
PizzaPizza
Batman1978
В среднем базы по 30 + гигов


Шо, рили?
Простой вопрос: а нафига? Ну вот ради даже интереса - неужели в магазинах используют все 30 гигов данных каждый день, ну или раз в квартал хотя бы?

Я бы сделал партицирование, старые данные поставил бы в RO и не бекапировал по сто раз, тогда и не придется гонять гиги по сети.


оборачиваемость - аналитика прошлый год - чистая база без данных 22 гига
26 сен 18, 02:55    [21686129]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
AndrF
Member

Откуда:
Сообщений: 2183
Batman1978
Диф не обсуждается - я же писал выше
Все фул и режим базы симпл


Ваше дело, конечно. Хотите хранить кучу больших файлов - храните.

Но почему вы не желаете делать бэкапирование по нормальному - хоть бы объяснили, а то интересно...
26 сен 18, 02:58    [21686130]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
AndrF
Batman1978
--Давайте сразу рамки поставим - беки делаются в нерабочее время - это 5 и 10 утра ... в это время крутятся только регламенты - они там не нагружают винты скорее процы шелестят


Вообще же бэкап базы в ~30 GB на диск делается за 3..5 минут . Если у вас явно больше, то дело в железе...



Да дело не во времени создания бекапа - да хоть полтара часа пусть делается
Дело в том что - близнецы базы - одна бекап делает 6 гигов другая 10 - пережму через 1с.дт файл будет делать 6 гигов
мне нужно решение средства скуля - 1с я так не автоматизирую процесс - ну ладно а 80 гигов - уходит полночи пережатие
200 гигов - посчитает сколько уйдет времени ?
каждая из баз в 21:00 можно начать и к 7 утра все должно быть готово быть в работе
у меня есть днем работа а ночью почему то хочется спать
26 сен 18, 03:01    [21686131]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
AndrF
Batman1978
Диф не обсуждается - я же писал выше
Все фул и режим базы симпл


Ваше дело, конечно. Хотите хранить кучу больших файлов - храните.

Но почему вы не желаете делать бэкапирование по нормальному - хоть бы объяснили, а то интересно...

откройте первую страницу и начните сначала читать
26 сен 18, 03:01    [21686132]     Ответить | Цитировать Сообщить модератору
 Re: SQL 2014 + 1с 8.3, растет у базы свободное место, сжатие базы не помогает уменьшить размер  [new]
Batman1978
Member

Откуда:
Сообщений: 38
Batman1978
Добрый день. просьба не судить за некоторые огрехи. Я чайник :) Точнее нечто среднее :)

Если все изложу не так - лучше подскажите как объяснить а не кидайте тапками

Суть такова - сеть магазинов - в каждом стоит (опять не надо кидать тапками оно уже есть оно работает и переделывать на мега правильный образец не кто не будет - оно же работает, пока оно вообще не перестанет работать, жадность она такая) по i3 и 16-32 гига оперативы винты под систему винты под базу (малочисленные магазины 1 винт на все), количество пользователей от 5 до 15 . Базы уже по 30+ или от 20+ гигов. Первое на единичных серваках собраных по принципу i3 + HDDSata 3 система бекапы + NVME база + temp все (база, винда, пользователи) тут база даже разбита на 2 файла и 3% занимает от основной базы свободное место на остальных более 10% + при этом бекапы на одинаковых базах на той где 3% свободного места - 7 гигов (модель восстановления простая) а на там где более 10% в одних так же 7 гигов в других 10 в третьих 12 или 13 гигов. В среднем базы по 30 + гигов

Беда в том что бекапы надо свести к минимуму - ибо свыше 10 гигов уже долго выкачиваются на сервер центральный за ночь не успевают. Пережимать через 1с каждую неделю долго - не автоматизируешь. и по ночам спать хочется :)
Да и сами базы с сильно большим свободным местом резервируемым под себя пугают

На сервере теперь уже выполняются регламентные:
раз в неделю - (бекап, проверка базы, переиндексация выборочная ввиде скрипта, обновление статистики, чистка кеша, полный бекап, чистка журнала свыше недели, подрезка журнала транзакций)


каждую ночь - тоже самое без проверки на ошибки
каждое утро - переиндексация выборочная ввиде скрипта, обновление статистики и чистка кэша
днем - переиндексация выборочная ввиде скрипта чистка кэша

Научите неразумного где и что делать - как избавиться от сильно разного по обьему бекапа ? как уменьшать сжать базу что бы бэкапы были нормальные по размерам ?

Модератор: Тема перенесена из форума "MySQL".


специально для ттех кто ленится открыть и почитать
26 сен 18, 03:02    [21686133]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить