Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl→      все
 где хранить бэкапы?  [new]
odisssey
Member

Откуда:
Сообщений: 64
 		подскажите какие нынче тенденции, кто где хранит бэкапы?

на сетевых дисках? но во первых вон в Украине был злобный вирус Petya, который на многих фирмах пошифровал все что было на дисках. Во вторых если скорость передачи бэкапов по сети не всегда достаточная.

Лента, мне тут сказали что это вчерашний день, и опять таки станет вопрос о том чтоб перегнать все бэкапы в доступное для забирание лентой место, а это десятки террабайт.

речь идет о бэкапах около 800 баз, с сотни скулей, общий размер недельных бэкапов около 200 террабайт. (1фулл, 6 дифф, логи)
Что посоветуете организовать?
на данный момент можно сказать что нет ничего.
22 авг 17, 12:58    [20741122]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
aleksrov
Member

Откуда:
Сообщений: 948
 		odisssey,

Не хило, 200 терабайт хранить и нет никакой политики.
Мы храним на лентах, ибо руководство решило купить их. Самое главное хранить отдельно от БД, а на чем и в каком виде решать уже вам.
22 авг 17, 13:03    [20741146]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
aleksrov
Member

Откуда:
Сообщений: 948
odisssey
но во первых вон в Украине был злобный вирус Petya, который на многих фирмах пошифровал все что было на дисках. Во вторых если скорость передачи бэкапов по сети не всегда достаточная.


Нигде не безопасно. Не давайте пете к вам проникнуть и все будет хорошо.
22 авг 17, 13:05    [20741158]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
komrad
Member

Откуда: Msk -> Utrecht
Сообщений: 5226
odisssey
речь идет о бэкапах около 800 баз, с сотни скулей, общий размер недельных бэкапов около 200 террабайт. (1фулл, 6 дифф, логи)
Что посоветуете организовать?
на данный момент можно сказать что нет ничего.


VTL с компрессией и выгрузкой на ленты впоследствии
но стоить это будет как пол-самолета
22 авг 17, 13:23    [20741245]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
LSV
Member [заблокирован]

Откуда: Киев
Сообщений: 30817
odisssey
речь идет о бэкапах около 800 баз, с сотни скулей, общий размер недельных бэкапов около 200 террабайт. (1фулл, 6 дифф, логи)
Что посоветуете организовать?
на данный момент можно сказать что нет ничего.
А бекапы то хоть упакованные ? Крайне ценная фича с 2008 версии.
22 авг 17, 13:54    [20741339]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31328
odisssey
Лента, мне тут сказали что это вчерашний день, и опять таки станет вопрос о том чтоб перегнать все бэкапы в доступное для забирание лентой место, а это десятки террабайт.

речь идет о бэкапах около 800 баз, с сотни скулей, общий размер недельных бэкапов около 200 террабайт. (1фулл, 6 дифф, логи)
Для таких размеров может быть и лента.
Ну или СХД большой.

odisssey
во первых вон в Украине был злобный вирус Petya, который на многих фирмах пошифровал все что было на дисках
А нельзя делать одну точку отказа.
"Не давайте пете к вам проникнуть и все будет хорошо." - гарантированная потеря информации, как обычно бывает, если надёжность сложной системы строится из предположения об отсутствии ошибок во всех её звеньях.

Храните одну копию бакапа на непосредственно серверных дисках каждого рабочего сервера, для быстрого восстановления.

Другую копию бакапа - в отдельном хранилище (ленты или СХД), притом хранение этой копии должна организовывать другая команда, со своим отдельным (не управляемым централизованно) доступом на чтение, и она же должна отвечать за состояние этих бакапов, то есть верифицировать бакапы путём восстановления их на свои, опять же независимые и управляемые отдельно, серверы.
22 авг 17, 14:16    [20741410]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1126
 		odisssey,

такое предложение:

-бэкапьте сначала на локальный диск* со включённой опцией проверки и компрессией
-затем локально считайте хэш сумм файлов**
-затем с помощью robocopy*** копируйте бэкапы например на сетевой диск
-затем уже там локально снова считайте хэши и сверяйте их с ранее сосчитанными
-затем удаляёте файлы с локального диска

* чтобы исключить ошибки сети и ументшить трафик

** в моей практике был сетевой диск с ~1 неправильным битом на 1ТБ.
При включённой компресии один сломанный бит почти наверняка делает бэкап невостанавливаемым
Кроме того, хэши можно всегда проверить на любом железе не напрягая для этого SQL

*** robocopy позволяет регулировать трафик и продолжает при обрывах
22 авг 17, 14:20    [20741425]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
TaPaK
Member

Откуда: Kiev
Сообщений: 6801
 		odisssey,

петр не трогал ни сетевые диски ни флешки ни вообще примапленые диски, но это не значить что следующие не будут :)
ну и у нас почти все клиенты подненялись из бекапов с минималными потерями. DMZ и тп решают все это
22 авг 17, 14:40    [20741500]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 2394
 		новые на дисках
старые на ленте
22 авг 17, 14:52    [20741544]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
LSV
Member [заблокирован]

Откуда: Киев
Сообщений: 30817
TaPaK
odisssey,

петр не трогал ни сетевые диски ни флешки ни вообще примапленые диски, но это не значить что следующие не будут :)
ну и у нас почти все клиенты подненялись из бекапов с минималными потерями. DMZ и тп решают все это
Их отлично трогал XDATA, который примерно ровестник ВанаКрай.

зы: мы храним бекапы локально и на WinSCP (такой FTP), кот. хостится на линуксе.
22 авг 17, 14:56    [20741551]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
klich
Member

Откуда: uuuuuuuuuuu
Сообщений: 302
 		>>> общий размер недельных бэкапов около 200 террабайт. (1фулл, 6 дифф, логи)

Это 35 дисков по 6 Тб. С учётом дублирования - требуется 70 дисков. Если хранить бэкапы 4 недели, то необходимо 280 дисков. Плюс штук 20 оперативный запас.

Расходы на диски - около 5 млн. рублей. Плюс 150-200 тыс. ежемесячно на амортизацию (срок службы диска примем за 2-3 года).

Городить крутую петабайтную СХД не обязательно: можно раз в день заливать бэкап на диски, потом вынимать диски и убирать в сейф, наклеив бирку с датой бэкапа. К дискам, лежащим в сейфе, никакой Петя не подберется.

Ну и неплохо бы изучить возможность сжатия бэкапов. 200 Тб - это уже всё максимально сжато? Что вообще такого тяжелого хранится в базах? Если там хранятся огромные неизменные файлы, можно ли их перенести в файловую систему? Но уже должно руководство решать, стоит ли экономия на дисках усилий по оптимизации баз и ПО.
22 авг 17, 15:49    [20741757]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
CrazyDr1v3r
Guest 		HP StoreEver MSL4048-2 - двухдрайвовая библиотека LTO6 на 48 кассет.
22 авг 17, 16:09    [20741826]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
rahzer
Member

Откуда:
Сообщений: 2287
 		Несколько площадок, на которых свои СХД, плюс системы EMC Data Domain в пару петабайт+ленты, которые увозятся и хранятся в отведенных местах.
22 авг 17, 16:22    [20741875]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
aleksrov
Member

Откуда:
Сообщений: 948
 		alexeyvg,
Я говорил только про петю, если они так его боятся.

У меня на хозяйстве к примеру 15 серверов, больше 100 баз, суммарный обьем террабайта 2.5. Используем ленточную библиотеку и Symantec NetBackup. У каждой резервной копии есть срок хранения а зависимости от ресурса и типа копии (full, diff, log и т.д), к примеру полная хранится месяц, делается раз в неделю. Более того, для особо важных ресурсов раз в неделю делается полная копия, лента извлекается и отправляется в архив в другое здание.
Локально Backup не храним, т.к. место на серверах не очень много, а даже с учетом того что все лежит на лентах мы вполне укладываемся в наше RTO
22 авг 17, 16:28    [20741888]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
klich
Member

Откуда: uuuuuuuuuuu
Сообщений: 302
 		>>> Более того, для особо важных ресурсов раз в неделю делается полная копия, лента извлекается и отправляется в архив в другое здание.

И сколько времени уйдёт на восстановление такого бэкапа? Пока вы привезете его из другого здания, пока прочитаете ленту, пока убедитесь в целостности данных... А если на полную копию придется ещё накатывать инкрементальные копии? А они тоже на лентах...

Нет, для бэкапов ленты не годятся. Разве что для бэкапов совсем уж маловажных данных.
22 авг 17, 16:37    [20741911]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
aleksrov
Member

Откуда:
Сообщений: 948
 		klich,

Эти копии для того чтобы желательно с них никогда не восстанавливаться, и если они понадобятся то Diff'ов не будет.
22 авг 17, 17:29    [20742051]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
iii2
Member

Откуда:
Сообщений: 202
klich
>>> Более того, для особо важных ресурсов раз в неделю делается полная копия, лента извлекается и отправляется в архив в другое здание.

И сколько времени уйдёт на восстановление такого бэкапа? Пока вы привезете его из другого здания, пока прочитаете ленту, пока убедитесь в целостности данных... А если на полную копию придется ещё накатывать инкрементальные копии? А они тоже на лентах...

Нет, для бэкапов ленты не годятся. Разве что для бэкапов совсем уж маловажных данных.

О чем вы говорите???
Скорость записи на кассету Ultrim перевалила за 150 мегабайт в секунду (это если без сжатия, со сжатием - все 300) еще лет 7 назад. Сейчас уже все 300.
И емкость 6 терабайт на кассету.
Единственный резон НЕ хранить бэкапы на лентах - это то, что библиотека это дорого, блин.

У кассеты проблемы с произвольным доступом. А линейно она читает и пишет на уровне RAID10 с 6 шпинделями.
22 авг 17, 17:41    [20742089]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
архивариус
Member

Откуда:
Сообщений: 150
iii2
Скорость записи на кассету Ultrim перевалила за 150 мегабайт в секунду (это если без сжатия, со сжатием - все 300) еще лет 7 назад. Сейчас уже все 300.
И емкость 6 терабайт на кассету.
Единственный резон НЕ хранить бэкапы на лентах - это то, что библиотека это дорого, блин.

У кассеты проблемы с произвольным доступом. А линейно она читает и пишет на уровне RAID10 с 6 шпинделями.


ленточная библиотека может поддерживать страйп, тогда можно писать читать одновременно на несколько лент, скорость еще в разы повысить
22 авг 17, 21:39    [20742534]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
klich
Member

Откуда: uuuuuuuuuuu
Сообщений: 302
aleksrov
Эти копии для того чтобы желательно с них никогда не восстанавливаться, и если они понадобятся то Diff'ов не будет.
Тогда это не резервные копии, а что-то другое. Смысл резервной копии именно в том, чтобы с неё максимально быстро восстановиться.

iii2
Скорость записи на кассету Ultrim перевалила за 150 мегабайт в секунду (это если без сжатия, со сжатием - все 300) еще лет 7 назад. Сейчас уже все 300. И емкость 6 терабайт на кассету.
В данном случае 6 терабайт очевидно не хватит. И вам придётся последовательно засовывать в считыватель несколько десятков кассет (ну либо иметь в резерве несколько десятков считывателей, что дорого). Если потом придётся ещё накатывать инкрементальные копии, то это займет столько времени, что вам разобьют голову раньше, чем вы закончите восстановление.
22 авг 17, 21:54    [20742553]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31328
iii2
У кассеты проблемы с произвольным доступом. А линейно она читает и пишет на уровне RAID10 с 6 шпинделями.
Речь о том, что её надо откуда то нести.
Если лента уже в библиотеке, то, конечно, скорость будет нормальная.
22 авг 17, 21:56    [20742558]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31328
klich
В данном случае 6 терабайт очевидно не хватит.
У них же 200 тб на 100 серверах, не думаю, что много сервером больше чем на 6 тб (может, вообще ни одного).
22 авг 17, 21:58    [20742559]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
Relic Hunter
Member

Откуда: AB
Сообщений: 7313
odisssey
подскажите какие нынче тенденции, кто где хранит бэкапы?
На таких объемах бекапить/ресторить седствами SQL почти не реально в реальном времени. Бекапьте средствами сторожа, снепшоты/политики там разные. Ну плюс зазеркалить сам сторож если денег не жалко. Да, к снепам Петя в обозримом будущем врядли доберется.
22 авг 17, 22:15    [20742581]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31328
Relic Hunter
На таких объемах бекапить/ресторить седствами SQL почти не реально в реальном времени. Бекапьте средствами сторожа, снепшоты/политики там разные.
Несколько ТБ нереально? Да ладно, обычный объём, на скорости 1 Гб/сек всего полчаса-час.
22 авг 17, 22:20    [20742591]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
klich
Member

Откуда: uuuuuuuuuuu
Сообщений: 302
Relic Hunter
бекапить/ресторить седствами SQL почти не реально в реальном времени
Бэкапится, разумеется, не основной сервер, а slave-реплика. Основной сервер работает 24х7.
22 авг 17, 22:28    [20742605]     Ответить | Цитировать Сообщить модератору
 Re: где хранить бэкапы?  [new]
Relic Hunter
Member

Откуда: AB
Сообщений: 7313
 		klich,

Ну дак со снепшотами и реплика не понадобится. Они делаются моментально. Можно сразу на Проде.
22 авг 17, 22:30    [20742606]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl→      все
Все форумы / Microsoft SQL Server Ответить