Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4   вперед  Ctrl      все
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31439
Alexander Us
alexeyvg,

да, имелось ввиду размер одного бэкапа.
Хотя можно эту же шкалу применить к суммарному размеру всех (полных) бэкапов.

Для уровня 400 нужно хранить 7 Террабайт.
Стоп, то есть это суммарный размер хранилища для бакапов?
Тогда какая разнгица, сколько они хранятся, и как часто делаются?

Для 7 ТБ нужно просто купить недорогой NAS, с гигабитным Ethernet портом, хватит за глаза. Там внутрях зеркало, или какой нибудь рейд5
Лучше взять таких 2 штуки, для дублирования.

Для совсем параноиков ещё купить диск в слот, и директору раз в месяц уносить его домой, так сказать, для георафически-распределённой системы бакапов.
Или вместо этого ещё одну линию хранения организовать в облаке (но именно "ещё одну", а не единственную!)
30 июн 16, 14:10    [19354569]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31439
Ferdipux
Alexander Us
да, имелось ввиду размер одного бэкапа.
Хотя можно эту же шкалу применить к суммарному размеру всех (полных) бэкапов.

Для уровня 400 нужно хранить 7 Террабайт.


Вы тогда распишите вашу таблицу подробно. Я в предположении ежедневных полных бекапов насчитал для lvl 400 5840 TB.
Хм, а я насчитал 70 000 ТБ...
каждые 2 часа по 16 ТБ - 12 раз в сутки
Храним год, 365*12*16=70 080
30 июн 16, 14:12    [19354583]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 1015
o-o
Чурюпаху завербовали azurщики


та не, все в порядке, просто поделился инфой...
30 июн 16, 14:13    [19354599]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 554
alexeyvg
Для совсем параноиков ещё купить диск в слот, и директору раз в месяц уносить его домой, так сказать, для георафически-распределённой системы бакапов.
Или вместо этого ещё одну линию хранения организовать в облаке (но именно "ещё одну", а не единственную!)

Оффсайт - это не только для параноиков, но и для аудита IT системы от PwC-Deloitte-etc. Там у них в списке есть крыж "есть оффсайт бекап с хранением media в ячейке банка", и в публичном отчете они об этом пишут.
30 июн 16, 14:14    [19354605]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
a_shats
Member

Откуда: Москва
Сообщений: 814
alexeyvg,

Ну, если 7 ТБ - это ежедневный инкремент, а требуемая глубина архива с полгодика-годик или более - вполне себе нужна уже лента :) Насчет сотен ТБ согласен.
Но тут есть и второй момент - в таких случаях обычно уже используется иерархический, D2D2T бэкап - то есть "в середине" всё равно есть "диски", хотя бы и с небольшой глубиной архива. С целью сокращения окна бэкапа.
30 июн 16, 14:15    [19354616]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
Ferdipux
Вы тогда распишите вашу таблицу подробно. Я в предположении ежедневных полных бекапов насчитал для lvl 400 5840 TB.


Так лучше?

Уровень100200300400
Р: размер одного полного бэкапа*<=0.25 TB<=1 TB<=4 TB<=16 TB
Х: минимальное хранение<=1 Неделя<=4 Недели<=1 Квартал<=1 Год
В: время для создания одного полного бэкапа<=16 Часов<=8 Часов<=4 Часа<=2 Час


С бэкапами по 5840 TB я не сталкивался, так что кто хочет, скорректируйтк таблицу исходя из Вашего практического опыта.

*Думаю, размер одного полного бэкапа в зависимости от контекста обсуждения можно применять к одной базе или всем вместе взятым.
30 июн 16, 14:18    [19354640]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
alexeyvg
Ferdipux
пропущено...


Вы тогда распишите вашу таблицу подробно. Я в предположении ежедневных полных бекапов насчитал для lvl 400 5840 TB.
Хм, а я насчитал 70 000 ТБ...
каждые 2 часа по 16 ТБ - 12 раз в сутки
Храним год, 365*12*16=70 080


Я имел ввиду размер ОДНОГО бэкапа.

Вы же имеете ввиду размер хранилища, так что мне надо бы добавить в таблицу параметр "размер хранилища".
И "частота бэкапов".
30 июн 16, 14:24    [19354686]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31439
Ferdipux
alexeyvg
Для совсем параноиков ещё купить диск в слот, и директору раз в месяц уносить его домой, так сказать, для георафически-распределённой системы бакапов.
Или вместо этого ещё одну линию хранения организовать в облаке (но именно "ещё одну", а не единственную!)

Оффсайт - это не только для параноиков, но и для аудита IT системы от PwC-Deloitte-etc. Там у них в списке есть крыж "есть оффсайт бекап с хранением media в ячейке банка", и в публичном отчете они об этом пишут.
Ну так безопасники в банках - это и есть праноики :-)

Я же тут по доброму это упоминаю, просто напомнил то, что к бакапам критических данных, как, например, к фин-транзакциям и счетам в АБС, нужно относиться очень, очень строго.
30 июн 16, 14:24    [19354689]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 554
Alexander Us,

Сходил к продажникам. После обсуждения - лента после объема хранения 50 TB становится выгоднее. Но - это лента с ее недостатками (медленный доступ к произвольному участку, последовательное чтение) + для управления бекапами на ленту нужна софтина и знания в ее настройке. А на диски бекапить можно как угодно...

Цепочку диск-лента часто используют по другой причине. У ленты есть номинальная производительность записи, если на нее отдаются данные медленнее номинала, хотя бы со скоростью 80-90% от номинала - производительность ленты падает до 10-15% (ее нужно успевать отматывать назад). Поэтому на диске организуется промежуточный буфер.
30 июн 16, 14:26    [19354708]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31439
Alexander Us
Так лучше?

Уровень100200300400
Р: размер одного полного бэкапа*<=0.25 TB<=1 TB<=4 TB<=16 TB
Х: минимальное хранение<=1 Неделя<=4 Недели<=1 Квартал<=1 Год
В: время для создания одного полного бэкапа<=16 Часов<=8 Часов<=4 Часа<=2 Час

...
Я имел ввиду размер ОДНОГО бэкапа.

Вы же имеете ввиду размер хранилища, так что мне надо бы добавить в таблицу параметр "размер хранилища".
И "частота бэкапов".

Конечно, нужен параметр "частота бэкапов".

А то по вашей табличке что можно понять?

сделали один раз бакап, "Р: размер одного полного бэкапа*, 16 TB"
Хранить его будем год: "Х: минимальное хранение,<=1 Год"
Сделали мы его тогда, год назад, за 2 часа: "В: время для создания одного полного бэкапа,<=2 Час"

И что, и какие выводы можно сделать? Что нужен NAS за 200 баксов + 5 дисков по 4ТБ на 1000?
Да, такой справится, параметры соответствуют.
30 июн 16, 14:30    [19354742]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
alexeyvg

...
А то по вашей табличке что можно понять?

сделали один раз бакап, "Р: размер одного полного бэкапа*, 16 TB"
Хранить его будем год: "Х: минимальное хранение,<=1 Год"
Сделали мы его тогда, год назад, за 2 часа: "В: время для создания одного полного бэкапа,<=2 Час"

И что, и какие выводы можно сделать? Что нужен NAS за 200 баксов + 5 дисков по 4ТБ на 1000?
Да, такой справится, параметры соответствуют.


Ещё попытка:
Уровень100200300400
Р: размер одного бэкапа<=0.25 TB<=1 TB<=4 TB<=16 TB
Х: хранение<=1 Неделя<=4 Недели<=1 Квартал<=1 Год
В: время для создания одного бэкапа<=16 Часов<=8 Часов<=4 Часа<=2 Час
Ч: частата создания бэкапов<=1/неделю<=1/день<=4/день<=12/день
К: размер(калибр) хранилища<=10ТБ<=50 ТБ<=250 ТБ<=2000 ТБ


Отдельно параметры:
тип бэкапа (полный,разностный,лог)
хрпнение оффлайн/онлайн

ЗЫ:
для Ваших бэкапов надо бы вводить 500 и 600 уровни :)
30 июн 16, 15:03    [19355003]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
Ferdipux
Alexander Us,

Сходил к продажникам. После обсуждения - лента после объема хранения 50 TB становится выгоднее. Но - это лента с ее недостатками (медленный доступ к произвольному участку, последовательное чтение) + для управления бекапами на ленту нужна софтина и знания в ее настройке. А на диски бекапить можно как угодно...

Цепочку диск-лента часто используют по другой причине. У ленты есть номинальная производительность записи, если на нее отдаются данные медленнее номинала, хотя бы со скоростью 80-90% от номинала - производительность ленты падает до 10-15% (ее нужно успевать отматывать назад). Поэтому на диске организуется промежуточный буфер.


Спасибо, оч. интересная инфа!


ЗЫ:
Вы не в курсе, есть ли такие NAS где кроме сетевого подключения есть ещё USB-3 (Тип B).
Т.е. такой, что на него можно было бы бэкапить прямо по USB и/или по сети?
30 июн 16, 15:12    [19355103]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 554
Alexander Us,

Тогда мое ХО - ваши 300 и 400 уровень - это лента. Проблема 300 и особенно 400 уровня - производительность среды передачи данных. По 10 GBEth одному каналу можно перелить максимум 4,2 TB в час, а сервер и бекапилка должны такой поток породить и съесть. Вам на 400 уровне или Infiniband, или 40 GBEth, +спец бекап софт который умеет заливать на несколько лент в параллель.
У меня был опыт построения инфраструктуры чтобы делать бекап-рестор 8 TB за 2 часа на 8 GB FC (Infiniband тогда был очень дорог и не для использованных серверов), проблем там было много. Носитель - лента.
30 июн 16, 15:15    [19355141]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31439
Alexander Us
Ещё попытка:
Уровень100200300400
Р: размер одного бэкапа<=0.25 TB<=1 TB<=4 TB<=16 TB
Х: хранение<=1 Неделя<=4 Недели<=1 Квартал<=1 Год
В: время для создания одного бэкапа<=16 Часов<=8 Часов<=4 Часа<=2 Час
Ч: частата создания бэкапов<=1/неделю<=1/день<=4/день<=12/день
К: размер(калибр) хранилища<=10ТБ<=50 ТБ<=250 ТБ<=2000 ТБ
А, вот теперь понятно.

Для уровней 100 и 200 я бы использовал просто диски, в виде NAS (в том числе обычное сетевое хранилище на базе Windows Server), как я писал раньше.
Для уровня 400 - ленты, для уровня 300 - ленты или дисковое хранилище.
Ещё для последних двух нужно рассматривать вариант, когда в тяжёлые СХД масштаба предприятия интегрирована поддержка ленточных библиотек, как одного из уровней хранения.

Alexander Us
для Ваших бэкапов надо бы вводить 500 и 600 уровни :)
Не, я же писал, наши жалкие террабайты мы храним на обычном NAS + копия на файл-сервер. У нас общий размер бакапов террабайт 12...
30 июн 16, 15:35    [19355412]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31439
Alexander Us
Вы не в курсе, есть ли такие NAS где кроме сетевого подключения есть ещё USB-3 (Тип B).
Т.е. такой, что на него можно было бы бэкапить прямо по USB и/или по сети?
Ну, по сети они все умеют, просто исходя из названия.
По USB никто не умеет, если говорить про NAS.

Но часто NAS называют так же и подключаемые по USB диски.

Я бы вообще их не советовал, и дело тут не в скорости интерфейса (USB 3.0 вообще довольно быстрый), а в надёжности и удобстве использования.
30 июн 16, 15:38    [19355443]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 554
Alexander Us
Вы не в курсе, есть ли такие NAS где кроме сетевого подключения есть ещё USB-3 (Тип B).
Т.е. такой, что на него можно было бы бэкапить прямо по USB и/или по сети?

Гм, я бы не брал... Диски по USB-3 - это DAS (Direct Attached Storage) и с качеством железки\функциональностью\скоростью контроллера там как-бы не очень... Начальный уровень NAS...
30 июн 16, 15:43    [19355477]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31439
Ferdipux
Диски по USB-3 - это DAS (Direct Attached Storage) и с качеством железки\функциональностью\скоростью контроллера там как-бы не очень
FC - это тоже DAS :-)

Тут дело в самом USB, ну и действительно, в уровне контроллеров, которые используются для таких устройств :-(
30 июн 16, 16:03    [19355607]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Yohtur
Member

Откуда: Londonobad
Сообщений: 14
alexeyvg
бакап" считается выполненным не тогда, когда бакап сделан, а когда он восстановлен, и результат восстановления проверен.

База 16.6Тб бэкапится на дисковый массив и восстанавливается как База_Репортинг.
С лентой работал последний раз в 2002.
30 июн 16, 16:44    [19355927]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
mitek
Member

Откуда:
Сообщений: 605
a_shats
Сейчас чаще всего - на диски, но, разумеется, не просто единичные диски, а в составе чего-то типа тех же NAS.
Ленты применяются для архива (доставать старые бэкапы при нужде).
Ну и промежуточный вариант - VTL (СХД/сервер/NAS, прикидывающийся ленточной библиотекой по FC/iSCSI).


А как насчет новомодных дедупликаторов а-ля EMC DataDomain, IBM ProtectTIER и т.д. да и просто классических нетбекапов/тсм-ов с inline-дедупликацией ? C одной стороны позволяет нехило экономить место на дисках, с другой получается, что полностью зависим от первого бекапа.
30 июн 16, 16:45    [19355933]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
StarikNavy
Member

Откуда: Москва
Сообщений: 2396
Yohtur
База 16.6Тб бэкапится на дисковый массив и восстанавливается как База_Репортинг.

а по времени, сколько это занимает?
каждый день?
и если нужен бэкап, хотя бы недельной давности?
30 июн 16, 16:55    [19356006]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
mitek
Member

Откуда:
Сообщений: 605
Ferdipux
У меня был опыт построения инфраструктуры чтобы делать бекап-рестор 8 TB за 2 часа на 8 GB FC (Infiniband тогда был очень дорог и не для использованных серверов), проблем там было много. Носитель - лента.

LAN-FREE ? Если не секрет, то какая библиотека и сколько драйвов (и какого LTO) использовалось в параллель ?
30 июн 16, 17:13    [19356111]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 554
mitek
LAN-FREE ? Если не секрет, то какая библиотека и сколько драйвов (и какого LTO) использовалось в параллель ?

Библиотека - IBM TS3300, 4 драйва LTO4 в параллель. Для бекапа делался снапшот диска дисковой хранилкой (с координацией его на уровне MS SQL) и затем снапшот утаскивался на ленту с хранилки. Виртуализатором хранилок (кто делал сам снапшот) выступала IBM SVC, про саму дисковую хранилку - не помню.
30 июн 16, 17:28    [19356190]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Ferdipux
Member

Откуда: Москва
Сообщений: 554
mitek,

Сорри, перепутал, давно было, библиотека IBM TS 3310, драйвов было 10 LTO-5.
30 июн 16, 17:35    [19356234]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Monochromatique
Member [заблокирован]

Откуда:
Сообщений: 1936
churupaha,

И сколько в Азуру будут литься гигабайт так 150?
30 июн 16, 19:39    [19356763]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
defragmentator
Member

Откуда:
Сообщений: 20504
Monochromatique
churupaha,

И сколько в Азуру будут литься гигабайт так 150?


Важно не сколько туда, а сколько по времени обратно
30 июн 16, 20:29    [19356958]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить