Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
 Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
Имея некоторые проблемы с надёжностью
больших бэкапов (сохранение на NAS, 0.2 - 0.7 TB на файл в сжатом виде)
натолкнулся на статью, где приводятся данные о надёжности дисков / ленты
откуда с удивлением узнал, что надёжность ленты на два порядка выше, чем у лучших дисков.

http://www.enterprisestorageforum.com/storage-technology/sas-vs.-sata-1.html

В этой связи хотелось бы узнать
- куда бэкапят коллеги
- рекомендации (если у кого есть)
28 июн 16, 14:21    [19345468]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4805
на не самый быстрый HDD
28 июн 16, 14:29    [19345553]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 2396
Alexander Us,

-на ленте
-на ленту
28 июн 16, 14:51    [19345735]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 2396
Alexander Us,

вобще рекомендации надо не у коллег, а у "бизнеса" спрашивать
какая глубина истории хранения им нужна, какая срок восттановления, стоимость итд итп
28 июн 16, 14:52    [19345742]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Lavrov_Yura
Member

Откуда:
Сообщений: 34
сторонней программой (ранее Backup Exec, теперь Networker) со своей быстрой хранилкой для кратковременых бэкапов и своими стриммерами для долгохранящихся.
28 июн 16, 15:31    [19346007]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31485
Alexander Us
узнал, что надёжность ленты на два порядка выше, чем у лучших дисков.
В принципе да.

Но диски спасает то, что их обычно объединяют в отказоустойчивые массивы.

Alexander Us
В этой связи хотелось бы узнать
- куда бэкапят коллеги
- рекомендации (если у кого есть)
Ленты - удел совсем энтерпрайза-энтерпрайза. Для больших объёмов.
Мы, простые работяги, свои жалкие террабайты бакапим на диски.
Alexander Us
- рекомендации (если у кого есть)
Наверное, в этих энтерпрайзах есть какие то расчёты, и основанные на них рекомендации, да вот типа той же статьи.

Я вижу, что угрозу несёт в основном не отказ железа, а ошибки слкжб эксплуатации, типа, "ни у кого не было задания делать бакап этого сервера".
Поэтому ИМХО правильная стратегия - поручать вести бакап параллельно разным подразделениям.
То есть бакапить не только данные, но и действия персонала, и ответственность.
29 июн 16, 00:03    [19348036]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31485
alexeyvg
Alexander Us
- рекомендации (если у кого есть)
Наверное, в этих энтерпрайзах есть какие то расчёты, и основанные на них рекомендации, да вот типа той же статьи.

Я вижу, что угрозу несёт в основном не отказ железа, а ошибки слкжб эксплуатации, типа, "ни у кого не было задания делать бакап этого сервера".
Поэтому ИМХО правильная стратегия - поручать вести бакап параллельно разным подразделениям.
То есть бакапить не только данные, но и действия персонала, и ответственность.
Да, ещё - задание админу (или службе эксплуатации) "(с)делать бакап" считается выполненным не тогда, когда бакап сделан, а когда он восстановлен, и результат восстановления проверен.
Это, конечно, очевидно, но просто на всякий случай напомнил...
29 июн 16, 00:06    [19348047]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
А кто использует опцию "проверка бэкапа"?

Я некоторое время полагал, что если бэкап успешно сделан, то почти наверняуа всё ок,
что подтверждалось выборочными тестовыми восстановлениями. Оказалось не так.

Т.е. проблема (видимо хардварная) в NAS - запись баз проблем, а verify проходит не всегда успешно.
29 июн 16, 09:36    [19348483]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 1015
Alexander Us,

"... жалкие терабайты..." с компрессией можня прямиком в azure page blobs.

с 2016 появилась возможность делать stripe в несколько azure blobs..
30 июн 16, 07:21    [19352838]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 1015
+

у blob storage есть разные уровни redundancy LRS/GRS/RA-GRS

2014 пишет в page blob'ы и цена выходит 50$/1Tb в месяц за LRS (три копии в датацентре). но вы же еще будете жать бэкапы. page blob'ы тарифицируются как standard disk:
https://azure.microsoft.com/en-us/pricing/details/storage/#disk-storage

2016 может писать в block blob'ы они дешевле в хранении и есть cool/hot
https://azure.microsoft.com/en-us/pricing/details/storage/
30 июн 16, 10:45    [19353399]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
o-o
Guest
Чурюпаху завербовали azurщики
30 июн 16, 10:49    [19353416]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31485
churupaha
2014 пишет в page blob'ы и цена выходит 50$/1Tb в месяц за LRS (три копии в датацентре). но вы же еще будете жать бэкапы. page blob'ы тарифицируются как standard disk:
https://azure.microsoft.com/en-us/pricing/details/storage/#disk-storage

2016 может писать в block blob'ы они дешевле в хранении и есть cool/hot
https://azure.microsoft.com/en-us/pricing/details/storage/
Там ещё для доступа есть какая то цена, так что стоимость будет выше. Насколько, интересно?

churupaha
у blob storage есть разные уровни redundancy LRS/GRS/RA-GRS
Что то мне кажется, что опасность потери данных будет не от аппарратных сбоев, а от косяков (с обоих сторон) ведения аккаунтов в Azure.

И ещё непонятно, как получить доступ, только специальными методами, что то стандартное там работает?

Хотя в целом технология хорошая, да.
30 июн 16, 11:08    [19353502]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31485
alexeyvg
churupaha
2014 пишет в page blob'ы и цена выходит 50$/1Tb в месяц за LRS (три копии в датацентре). но вы же еще будете жать бэкапы. page blob'ы тарифицируются как standard disk:
https://azure.microsoft.com/en-us/pricing/details/storage/#disk-storage

2016 может писать в block blob'ы они дешевле в хранении и есть cool/hot
https://azure.microsoft.com/en-us/pricing/details/storage/
Там ещё для доступа есть какая то цена, так что стоимость будет выше. Насколько, интересно?
Вообще главный недостаток такого подхода - уход от распределённых вычислений (как концепции) к концепции "мэйнфрейма".

Вроде же выгодно распределять хранение и обработку на разных уровнях? И стоимость единицы производительности, единицы пропускной способности уменьшается при таком распределении.
Вот конкретно, ежедневный бакап + его передача, неужели в облаке, с передачей через тыщи километров, будет дешевле, чем на свои дисковые массивы с передачей по локальной сети?

Так, когда то уже давно, "большие ЭВМ" были потеснены мидл-фреймами, потом Unix, ПК, потом ноутбуки и смартфоны...

А сейчас нам рекламируют новый тренд, что типа давайте всё хранить и обрабатывать на одной большой машине, а у нас будут простые терминалы.
Как то это всё мной не принимается.
30 июн 16, 11:16    [19353539]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
defragmentator
Member

Откуда:
Сообщений: 20504
alexeyvg
Ленты - удел совсем энтерпрайза-энтерпрайза. Для больших объёмов.
Мы, простые работяги, свои жалкие террабайты бакапим на диски.

+100
Можно на разные диски, чтобы гарантированно был цел хотя бы один из нескольких последних бэкапов.
А ленточки - ну, понты просто.
30 июн 16, 12:30    [19353954]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
a_voronin
Member

Откуда: Москва
Сообщений: 4805
Ну поставим вопрос так. А на что дешевле всего бекапить?
30 июн 16, 12:47    [19354068]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 558
a_voronin
Ну поставим вопрос так. А на что дешевле всего бекапить?


Гм, так все обсуждение как-бе намекает, что зависит от требований - объема и доступного временного слота для бекапа, требований по хранению копии на оффсайте, длительности хранения. На ленточки цена за гиг самая низкая, но вот стоимость установки для их работы + софта не маленькая. Но, начиная с некоторого момента (размера бекапа) - становится оправдана.
30 июн 16, 12:51    [19354104]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
Ferdipux
Гм, так все обсуждение как-бе намекает, что зависит от требований - объема и доступного временного слота для бекапа, требований по хранению копии на оффсайте, длительности хранения.


Ну давайте на категории разобьём что ли:

Уровень100200300400
Р: размер<=0.25 TB<=1 TB<=4 TB<=16 TB
Х: хранение<=1 Неделя<=4 Недели<=1 Квартал<=1 Год
В: время для<=16 Часов<=8 Часов<=4 Часа<=2 Часа


ну и оффсайт: да; нет
30 июн 16, 13:38    [19354364]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31485
Alexander Us
Ну давайте на категории разобьём что ли:
Непонятна ваша табличка.
размер - это что, размер одного бакапа, время - период его изготовления, а хранение - сколько хранится?
Т.е. для уровня 400 нужно хранить 70 000 террабайт?
30 июн 16, 13:48    [19354428]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
a_shats
Member

Откуда: Москва
Сообщений: 814
Alexander Us,

Сейчас чаще всего - на диски, но, разумеется, не просто единичные диски, а в составе чего-то типа тех же NAS.
Ленты применяются для архива (доставать старые бэкапы при нужде).
Ну и промежуточный вариант - VTL (СХД/сервер/NAS, прикидывающийся ленточной библиотекой по FC/iSCSI).

Про рекомендации - 0.7ТБ это бэкап не большой, а совсем даже маленький.
Просто NAS нужно под него поставить не а-ля WD MyBook или аналогичной фигни от Seagate, а нормальный, человеческий, с отказоустойчивостью по дискам.

Ну и, как уже неоднократно советовали - добавить проверку бэкапа (в смысле - восстановления из него).
30 июн 16, 13:54    [19354453]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
alexeyvg,

да, имелось ввиду размер одного бэкапа.
Хотя можно эту же шкалу применить к суммарному размеру всех (полных) бэкапов.

Для уровня 400 нужно хранить 7 Террабайт.
30 июн 16, 14:03    [19354517]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 558
Alexander Us,

Давайте так - оффсайт когда его понимают как нечто в ячейке банка (а не в другом ДЦ) - это ИМХО только ленты, если размер больше 100 GB (Blu-Ray BDXL).
По остальному - с налету не скажу, нужно идти к продажникам и смотреть анналы/продажные презентации, там иногда похожее сравнение проскакивает.
Навскидку по вашей матрице - уровни 100, 200 можно закрыть без лент, 300 - нужно считать, 400 - скорее всего ленты.

По времени - для "чистого" бекапа время можно оценить как размер деленный максимум пропускной способности интерфейса. То есть по 10GB Ethernet бекап 1 TB не сможет пройти быстрее чем за 850 секунд (iSCSI over Eth), в реальности - за полтора-три раза большее время. Если вам нужно быстрее или необходимо делать целостный бекап нескольких баз - придется покупать софт на бекам "моментальным снимком БД" от производителей хранилок.
30 июн 16, 14:03    [19354520]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 558
Alexander Us
alexeyvg,

да, имелось ввиду размер одного бэкапа.
Хотя можно эту же шкалу применить к суммарному размеру всех (полных) бэкапов.

Для уровня 400 нужно хранить 7 Террабайт.


Вы тогда распишите вашу таблицу подробно. Я в предположении ежедневных полных бекапов насчитал для lvl 400 5840 TB.
30 июн 16, 14:05    [19354536]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31485
a_shats
Про рекомендации - 0.7ТБ это бэкап не большой, а совсем даже маленький.
Да и 7 - очень даже маленький :-)

ИМХО, думать о ленточных бакапах нужно, когда сумарный объём хранимых бакапов начинает исчисляться петабайтами (ну или хотя бы больше сотни террабайт, тогда можно уже позволить себе такую причуду).
30 июн 16, 14:06    [19354538]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
Alexander Us,

поправка: если размер одного полного бэкапа 7TB это уровень 400
30 июн 16, 14:07    [19354548]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 1015
alexeyvg
И ещё непонятно, как получить доступ, только специальными методами, что то стандартное там работает?


create credential azurestorageacccred with identity = 'azurestorageacc', secret ='azurestoragekey'
go

restore database [externalpartners] to url = N'https://YOUR_STORAGE_ACC_NAME.blob.core.windows.net/CONTAINER_NAME/backup_file_name.bak'
with credential = N'azurestorageacccred', compression, stats = 5;

restore database [externalpartners] from url = N'https://YOUR_STORAGE_ACC_NAME.blob.core.windows.net/CONTAINER_NAME/backup_file_name.bak' 
with credential = N'azurestorageacccred', stats = 5;


если хочется как список файлов все видеть, есть тулза для всех осей Azure Explorer и Azure portal (web-морда).

есть Powershell API для доступа...

если нужен аналог copy/move, есть AzCopy.

у нас retention window реализовано на основе t-sql/powershell. в ожуре пока только бэкапы некритичных базенок...

есть еще Managed Azure Backups в SQL Serverе оно все умеет само делать retention window, следит не разорван ли restore sequence и т. п.., но там много ограничений, учитывая что чтение/хранение платное хочется контролировать все построже, потому все своими лисапедами.

Сообщение было отредактировано: 30 июн 16, 14:17
30 июн 16, 14:10    [19354568]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3 4   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить