Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Настройка размера файлов базы данных, хелп плиз  [new]
abrashka
Member

Откуда:
Сообщений: 521
День добрый!
Каждое утро мне нужно перенести при помощи DTS-ов данные из базы А(sql2000) в базу Б(sql2005),
речь идет о порядке 200 таблиц, база занимает порядка 20Г

Во время копирования лог достигает невероятных по нашим меркам размера, тоже около 15Г, соответственно на диске необходимо иметь порядка 50Г свободного места, а это не всегда получается и переодически процесс падает.

Вопрос такой, как предотвратить такой активный рост журнала транзакций? нам в принципе он не нужен, т.к. база строится каждый день заново.


Спасибо
24 окт 11, 17:24    [11490779]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
komrad
Member

Откуда:
Сообщений: 5759
abrashka,


если льете в разных транзакциях, то
alter database ... set recovery simple
если в одной, то
select 'не предотвратить' [никак]
24 окт 11, 17:30    [11490818]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
komrad
Member

Откуда:
Сообщений: 5759
abrashka,

а что DTS делает? просто льет (insert или bcp) или обрабатывает при этом?
24 окт 11, 17:52    [11491008]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
abrashka
Member

Откуда:
Сообщений: 521
Сорри, забыл сказать, что Recovery установлено Simple
В DTS не обрабатываю, только удаляю данные из Б через Truncate и лью при помощи "Transform Data Task'.

Вообще не совсем понятна ситуация... Скажем создал НОВУЮ базу, дата 20Г ,лог 10Г, оба файла с автоматическим ростом в 10%. Сначала лог пустой, я начинаю процесс, лог доходит до 10Г, потом автоматом 11, 12, 13... до каких пор он будет расти?
До следующего shrink-a или резервного копирования? или пока место на харде не кончится?


Спасибо!
24 окт 11, 18:15    [11491148]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
abrashka
Member

Откуда:
Сообщений: 521
или если я не разрешаю файлу транзакции расти автоматически, то на что это может повлиять?

Он вырастет до 10Г, но процесс будет продолжаться, а ранняя информация из журнала будет удаляться по мере поступления новой, так, чтоб размер файла сохранялся 10Г?
24 окт 11, 18:18    [11491170]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
Гавриленко Сергей Алексеевич
Member

Откуда:
Сообщений: 37254
abrashka
или если я не разрешаю файлу транзакции расти автоматически, то на что это может повлиять?

Он вырастет до 10Г, но процесс будет продолжаться, а ранняя информация из журнала будет удаляться по мере поступления новой, так, чтоб размер файла сохранялся 10Г?
Нет, конечно. Если в файле лога не хватит места для записи текущей транзакции, она откатится.
24 окт 11, 18:42    [11491261]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31984
abrashka
Вопрос такой, как предотвратить такой активный рост журнала транзакций? нам в принципе он не нужен, т.к. база строится каждый день заново.
Только изменить импорт так, что бы он не требовал такого большого размера лога.
24 окт 11, 19:33    [11491584]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
Fire83
Member

Откуда: Гомель-Минск
Сообщений: 474
abrashka,

Возможно у вас просто все в одной транзакции льется, проверьте
Если да то меняйте логику переливки, делайте разные транзакции.
24 окт 11, 19:38    [11491618]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
komrad
Member

Откуда:
Сообщений: 5759
abrashka
Сорри, забыл сказать, что Recovery установлено Simple
В DTS не обрабатываю, только удаляю данные из Б через Truncate и лью при помощи "Transform Data Task'.

если в логике работы пакета нет именно трансформации данных, т.е. данные льются 1-в-1 в соответствующие таблицы, то проверьте - там наверняка есть таск типа BULK LOAD или что-то подобное

Балк Лоад минимально логируется, при условии что в таблицах получателях нет индексов и триггеров
24 окт 11, 20:28    [11491782]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31984
komrad
abrashka
Сорри, забыл сказать, что Recovery установлено Simple
В DTS не обрабатываю, только удаляю данные из Б через Truncate и лью при помощи "Transform Data Task'.

если в логике работы пакета нет именно трансформации данных, т.е. данные льются 1-в-1 в соответствующие таблицы, то проверьте - там наверняка есть таск типа BULK LOAD или что-то подобное

Балк Лоад минимально логируется, при условии что в таблицах получателях нет индексов и триггеров
Чудес то не бывает, лог же растёт.
Репликаций и всяких шиппингов тоже не было, потому что:
abrashka
Скажем создал НОВУЮ базу


Так что вариант один - большая транзакция без упрощённого логирования.
24 окт 11, 21:00    [11491871]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
komrad
Member

Откуда:
Сообщений: 5759
alexeyvg
Чудес то не бывает, лог же растёт.

конечно
но, скорость роста от простых инсертов и от bcp разная
24 окт 11, 23:05    [11492261]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31984
komrad
alexeyvg
Чудес то не бывает, лог же растёт.

конечно
но, скорость роста от простых инсертов и от bcp разная
база занимает порядка 20Г, лог достигает тоже около 15Г

При нелогируемых операциях там мизер будет.

Так что рост лога не BULK LOAD даёт.
Хотя и не обязательно загрузка, может, после загрузки там в пакете апдэйт всей большой таблицы.

В общем, просто нужно посмотреть и поправить пакет, либо увеличить свободное место на диске (что, понятное дело, дешевле, чем посмотреть пакет).
24 окт 11, 23:15    [11492290]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
komrad
Member

Откуда:
Сообщений: 5759
alexeyvg
Так что рост лога не BULK LOAD даёт.

понятное дело) поэтому и спрашиваю автора про манипуляции с данными и говорю ему не один раз про возможное использование балка для уменьшения роста лога.
24 окт 11, 23:35    [11492353]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
abrashka
Member

Откуда:
Сообщений: 521
Всем спасибо!
Манипулюций с данными нет. Несколько тасков следуют один за другим в одном DTS(каждый таск- отдельная таблица), DTS-ов несколько, запускаются последовательно, через JOB

Поменял модель на Bulk-logged, вроде лог не растет.
В моем случае, имхо, это оптимальный вариант. Не вижу ситуации, когда прийдется ковырять лог, я ведь заполняю базу каждый день, один раз в день. В любом случае настроил ежедневный бэкап всей базы.

Какие могут быть "подводные камни" в данной модели?
25 окт 11, 03:01    [11492632]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
iljy
Member

Откуда:
Сообщений: 8711
abrashka,

вы бакап лога делаете?
25 окт 11, 09:06    [11492837]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31984
iljy
abrashka,

вы бакап лога делаете?
Он не сможет, в симпл модели-то.
abrashka
Поменял модель на Bulk-logged, вроде лог не растет.
В моем случае, имхо, это оптимальный вариант. Не вижу ситуации, когда прийдется ковырять лог, я ведь заполняю базу каждый день, один раз в день. В любом случае настроил ежедневный бэкап всей базы.

Какие могут быть "подводные камни" в данной модели?
Никаких, самый правильный вариант.
25 окт 11, 09:49    [11492970]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
iljy
Member

Откуда:
Сообщений: 8711
alexeyvg,

тогда возникает естественный вопрос - нафига он поменял модель на BULK_LOGGED?
25 окт 11, 09:51    [11492977]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31984
iljy
alexeyvg,

тогда возникает естественный вопрос - нафига он поменял модель на BULK_LOGGED?
А, я подумал, модель импорта в пакете...

Странно, действительно.
25 окт 11, 09:53    [11492992]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31984
abrashka
Сорри, забыл сказать, что Recovery установлено Simple
Наверное, было всё таки не симпл. Наверное, когда в очередной раз создавали базу, забыли поменять модель.
25 окт 11, 09:54    [11493001]     Ответить | Цитировать Сообщить модератору
 Re: Настройка размера файлов базы данных, хелп плиз  [new]
abrashka
Member

Откуда:
Сообщений: 521
Было Simple, я поэтому и спрашиваю или замена Simple на Bulk приведет к тому, что лог перестанет расти, мне лог не нужен, я не буду востанавливать базу при помощи лога.
25 окт 11, 11:15    [11493624]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить