Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
 Re: Кто куда бэкапит большие базы?  [new]
andrey odegov
Member

Откуда:
Сообщений: 473
defragmentator
Monochromatique
churupaha,

И сколько в Азуру будут литься гигабайт так 150?


Важно не сколько туда, а сколько по времени обратно
важно, что бы пока оно льется туда не потребовалось обратно
а почему бекап? в проме важна максимальная доступность, достигаемая другими способами. а восстанавливаться из бекапа на проме, да еще такие объёмы, это же полный караул. rto ведь не резиновое.
30 июн 16, 20:40    [19357004]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31438
andrey odegov
а почему бекап? в проме важна максимальная доступность, достигаемая другими способами. а восстанавливаться из бекапа на проме, да еще такие объёмы, это же полный караул. rto ведь не резиновое.
Сохранность данных важнее доступности.
К тому же наличие бакапов этой доступности не мешает, конфликта тут нет.

Т,о. вопрос в том, считаете ли вы оправданными дополнительные траты за возможность иметь резервную копию?

Доступность, достигаемая другими средствами, к сожалению, достигается обычно созданием всевозможных "зеркал", а зеркала не обеспечат сохранность данных, ведь они, возможно, будут зеркалировать все изменения, в т.ч. ошибочные.
30 июн 16, 21:00    [19357092]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
andrey odegov
Member

Откуда:
Сообщений: 473
alexeyvg
andrey odegov
а почему бекап? в проме важна максимальная доступность, достигаемая другими способами. а восстанавливаться из бекапа на проме, да еще такие объёмы, это же полный караул. rto ведь не резиновое.
Сохранность данных важнее доступности.
К тому же наличие бакапов этой доступности не мешает, конфликта тут нет.

Т,о. вопрос в том, считаете ли вы оправданными дополнительные траты за возможность иметь резервную копию?

Доступность, достигаемая другими средствами, к сожалению, достигается обычно созданием всевозможных "зеркал", а зеркала не обеспечат сохранность данных, ведь они, возможно, будут зеркалировать все изменения, в т.ч. ошибочные.
безусловно бекапы нужны. но сколько готово ждать производство, пока данные будут восстановлены после ситуации 'ой, что же я наделал?'.
30 июн 16, 21:09    [19357124]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31438
andrey odegov
alexeyvg
пропущено...
Сохранность данных важнее доступности.
К тому же наличие бакапов этой доступности не мешает, конфликта тут нет.

Т,о. вопрос в том, считаете ли вы оправданными дополнительные траты за возможность иметь резервную копию?

Доступность, достигаемая другими средствами, к сожалению, достигается обычно созданием всевозможных "зеркал", а зеркала не обеспечат сохранность данных, ведь они, возможно, будут зеркалировать все изменения, в т.ч. ошибочные.
безусловно бекапы нужны. но сколько готово ждать производство, пока данные будут восстановлены после ситуации 'ой, что же я наделал?'.
Нисколько не готово.
Только вводить всю базу ручками оно ещё более неготово :-)
Так что бакапы нужны, да.
И ещё раз, наличие бакапов не препятствует применению средств обеспечения доступности. Бакапы - это не средства обеспечения доступности, это именно резервные копии, и они просто должны быть.

Насчёт скорости восстановления - нужно просто делать более доступным последний бакап.
Он должен быть на быстрых локальных устройствах.
А на всяких лентах и ажурах - старые бакапы.
30 июн 16, 21:30    [19357199]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 1015
Monochromatique
churupaha,

И сколько в Азуру будут литься гигабайт так 150?


около часа

в 2014 поскольку он бэкапит в page blob'ы - 60 Mb/sec сейчас максимум для одного page blob'а

в 2016 можно лить страйпом сразу в N block blob'ов.
30 июн 16, 21:35    [19357220]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
andrey odegov
Member

Откуда:
Сообщений: 473
churupaha
Monochromatique
churupaha,

И сколько в Азуру будут литься гигабайт так 150?


около часа

в 2014 поскольку он бэкапит в page blob'ы - 60 Mb/sec сейчас максимум для одного page blob'а

в 2016 можно лить страйпом сразу в N block blob'ов.
а какой у вас ширины канал до облака?
30 июн 16, 21:47    [19357258]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Monochromatique
Member [заблокирован]

Откуда:
Сообщений: 1936
churupaha
Monochromatique
churupaha,

И сколько в Азуру будут литься гигабайт так 150?


около часа

в 2014 поскольку он бэкапит в page blob'ы - 60 Mb/sec сейчас максимум для одного page blob'а

в 2016 можно лить страйпом сразу в N block blob'ов.


Это, пардон, сколько на отдачу должно быть? Что за канал такой?
30 июн 16, 22:13    [19357316]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 1015
andrey odegov
churupaha
пропущено...


около часа

в 2014 поскольку он бэкапит в page blob'ы - 60 Mb/sec сейчас максимум для одного page blob'а

в 2016 можно лить страйпом сразу в N block blob'ов.
а какой у вас ширины канал до облака?


у меня нет такой инфы, смотрел по логам сколько времени бэкап такого размера (размер файла бэкапа) лился в blobs'ы. датацентр ажура, куда бэкапится там не далеко.
30 июн 16, 22:44    [19357406]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
alexeyvg,

так сейчас как сбоит NAS, пришлось бэкапить по USB-3 на внешний диск.

Результаты:
USB-3: 119 MB/sec
NAS: 33 MB/sec (2x1GBit)
USB-3 vs NAS (размер файла созданного бэкапа / длительность бэкапа)

Выводы:
Так как наши требования не выше чем уровень 200, обдумываем бэкап на внешний USB-3 диск (например WD Duo c RAID1)
Затем созданный бэкап можно не торопясь копировать на архивный SAN

Предполагаемые плюсы:
-выиргыш в скорости бэкапа/восстановления
-разргузка сети (бэкап и проверка авхива локально, только затем копирование в архивный SAN)
-устранение фактора ошибки "сбой в сети" при создании бэкапа
-дёшево

Жду критики...
1 июл 16, 11:52    [19358645]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Yohtur
Member

Откуда: Londonobad
Сообщений: 14
StarikNavy
Yohtur
База 16.6Тб бэкапится на дисковый массив и восстанавливается как База_Репортинг.

а по времени, сколько это занимает?
каждый день?
и если нужен бэкап, хотя бы недельной давности?

11часов занимает каждую ночь.
7 дней с диска можно брать, 8-30дней надо в датацентре заказывать.
1 июл 16, 14:58    [19359965]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31438
Alexander Us
Жду критики...
Ну, работает, и хорошо.
Моя критика исключительно от неудачного опыта работы с USB-дисками.

Может, вам NAS поправить или заменить? По одному гигабитному каналу должно быть мегов около 100, 33 - ненормально.
1 июл 16, 15:52    [19360334]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
a_shats
Member

Откуда: Москва
Сообщений: 814
Результаты:
USB-3: 119 MB/sec
NAS: 33 MB/sec (2x1GBit)

А что у Вас такое с NAS, что он настолько медленно работает ?
Или это источник бэкапа сильно нагружен и так медленно отдает ?
Должно быть втрое-вчетверо быстрее вообще-то.
Выводы:
Так как наши требования не выше чем уровень 200, обдумываем бэкап на внешний USB-3 диск (например WD Duo c RAID1)
Затем созданный бэкап можно не торопясь копировать на архивный SAN

Плохая идея.
Нормальный NAS будет лучше.
Предполагаемые плюсы:
-выиргыш в скорости бэкапа/восстановления
-разргузка сети (бэкап и проверка авхива локально, только затем копирование в архивный SAN)
-устранение фактора ошибки "сбой в сети" при создании бэкапа
-дёшево

- на любом нормальном NAS оно будет быстрее (выше написал)
- никто не мешает воткнуть еще 2-портовую гигабитку, сделать VLAN и отнести все бэкапные дела туда
- сбой в сети, если его причина не выявлена и устранена, нанесет куда больше ущерба, чем просто битый бэкап.
1 июл 16, 16:23    [19360477]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
alexeyvg
Может, вам NAS поправить или заменить? По одному гигабитному каналу должно быть мегов около 100, 33 - ненормально.


Да я рад бы но
нет 100% уверености что это именно NAS.
Многоктатное restore verify одного и того же файла обрывается то на 10% то на 60% и т.д.
с ошибкой 3203 ... failed 13(The data is invalid.)
1 июл 16, 16:25    [19360491]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
Alexander Us
alexeyvg
Может, вам NAS поправить или заменить? По одному гигабитному каналу должно быть мегов около 100, 33 - ненормально.


Да я рад бы но
нет 100% уверености что это именно NAS.
Многоктатное restore verify одного и того же файла обрывается то на 10% то на 60% и т.д.
с ошибкой 3203 ... failed 13(The data is invalid.)


Имеется ввиду restore verify с NAS.
1 июл 16, 16:28    [19360503]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31438
Alexander Us
alexeyvg
Может, вам NAS поправить или заменить? По одному гигабитному каналу должно быть мегов около 100, 33 - ненормально.


Да я рад бы но
нет 100% уверености что это именно NAS.
Многоктатное restore verify одного и того же файла обрывается то на 10% то на 60% и т.д.
с ошибкой 3203 ... failed 13(The data is invalid.)
Да, печально. С сетью что то?
Масса сообщений о кривых бакапах по сети, безобразие, неужели это нельзя решить на уровне сетевых протоколов???

А NAS нельзя как iSCSI подключить (может, не весь, а сделать специальный раздел)?
1 июл 16, 18:57    [19361116]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
alexeyvg
Alexander Us
пропущено...


Да я рад бы но
нет 100% уверености что это именно NAS.
Многоктатное restore verify одного и того же файла обрывается то на 10% то на 60% и т.д.
с ошибкой 3203 ... failed 13(The data is invalid.)
Да, печально. С сетью что то?
Масса сообщений о кривых бакапах по сети, безобразие, неужели это нельзя решить на уровне сетевых протоколов???

А NAS нельзя как iSCSI подключить (может, не весь, а сделать специальный раздел)?


Насчет решения на уровне сетевых протоколов —
пока не представляю как, да и не админ я.

Так что пока решение вообще без оных — USB. :)

Насчет iSCSI буду читать, спасибо за предложение.
1 июл 16, 21:30    [19361488]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31438
Alexander Us
Насчет решения на уровне сетевых протоколов —
пока не представляю как, да и не админ я.
Не, это я про микрософт, про продолжающуюся 30 лет ситуацию с ошибками бакапов в сеть.
Вам или админам тут ничего не сделать, только повышать надёжность сети, уменьшая число ошибок. Но понятно, что это костыли, потому что ошибка (искажение пакета) при передаче всё равно может произойти.
1 июл 16, 23:36    [19361787]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
alexeyvg
Alexander Us
Насчет решения на уровне сетевых протоколов —
пока не представляю как, да и не админ я.
Не, это я про микрософт, про продолжающуюся 30 лет ситуацию с ошибками бакапов в сеть.
Вам или админам тут ничего не сделать, только повышать надёжность сети, уменьшая число ошибок. Но понятно, что это костыли, потому что ошибка (искажение пакета) при передаче всё равно может произойти.


Я попробовал следующее
С помощью Robocopy скопировал файл (0,7 ТБ) с NAS на локальный диск ДВА раза и сравнил файлы прбайтно. Нашлись несколько, около 30 различаюшихся байт. При этом отличались они одним и теи же битом.
Затем еще раз дважды скачал файл, сравнил. На этот раз нашлось 3 различных байта, различающиечя тем же битом.

Проверка NAS ничего не дала.Теперь меняю в нем по обному диску и проверяю, сохранился лли эффект.
2 июл 16, 01:25    [19362020]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31438
Alexander Us
Я попробовал следующее
С помощью Robocopy скопировал файл (0,7 ТБ) с NAS на локальный диск ДВА раза и сравнил файлы прбайтно. Нашлись несколько, около 30 различаюшихся байт. При этом отличались они одним и теи же битом.
Затем еще раз дважды скачал файл, сравнил. На этот раз нашлось 3 различных байта, различающиечя тем же битом.
Хм, вообще файлшара, как я понимаю, устойчива к сбоям сети.
Так что тут действительно дело в NAS, видимо.
2 июл 16, 02:49    [19362072]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
schi
Member

Откуда: Москва
Сообщений: 2601
alexeyvg
Мы, простые работяги, свои жалкие террабайты бакапим на диски.


Терабайты. Терра инкогнита и прочее, связанное с землею, тут не причем.
2 июл 16, 10:46    [19362272]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Александр Гладченко
Member

Откуда:
Сообщений: 10730
Блог
Главное в резервной копии - сколько займёт её восстановление и/или её наличие. Кроме этого, важно, что бы процесс резервного копирования не мешал (заметно) работе пользователей. Удобно, если система резервного копирования хорошо масштабируется при росте объёма копирования.
Перечисленные задачи решаются многими способами. У нас на локальные массивы RAID0 в количестве 12 шт. делаются копии с глубиной хранения 2 - 3 дня. У каждого сервера свои массивы для копий. Файлы с этими копиями забираются на ферму серверов DPM. На каждый сервер по 10Gbps можно резервировать около 100Тб фалов резервных копий. Хронология хранения около недели. Промышленные сервера и ферма DPM в разных территориально датацентрах, между которыми канал 100Gbps.
Ленты не используем, с ними больше возни и нужно часто вынимать погибшие. Лет 5 использовали, наелись :)
4 июл 16, 12:16    [19366327]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
Alexander Us
Member

Откуда:
Сообщений: 1133
Александр Гладченко
Главное в резервной копии - сколько займёт её восстановление и/или её наличие. Кроме этого, важно, что бы процесс резервного копирования не мешал (заметно) работе пользователей. Удобно, если система резервного копирования хорошо масштабируется при росте объёма копирования.
Перечисленные задачи решаются многими способами. У нас на локальные массивы RAID0 в количестве 12 шт. делаются копии с глубиной хранения 2 - 3 дня. У каждого сервера свои массивы для копий. Файлы с этими копиями забираются на ферму серверов DPM. На каждый сервер по 10Gbps можно резервировать около 100Тб фалов резервных копий. Хронология хранения около недели. Промышленные сервера и ферма DPM в разных территориально датацентрах, между которыми канал 100Gbps.
Ленты не используем, с ними больше возни и нужно часто вынимать погибшие. Лет 5 использовали, наелись :)


Спасибо!

-------------------------------------------------------
Если Вы посчитаете возможным сделать уточнения:

Как Вы решаете ситуации когда вылетает диск в RAID0: замена + ручной бэкап?
На какой стадии Вы проверяете бэкап: пока он на RAID0 или когда он скопирован на ферму?
4 июл 16, 18:17    [19368193]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 1015
Вот еще для полноты картины подход к хранению/резервированию...

Data/Log-files in Azure Blobs
Backups with blob Snapshots

У них все стораджы с redundancy = Local/Zone/GRS/RA-GRS. Потому бэкапирование снапшотами выглядит интересно. Они это используют в частности в Azure DWH. А также можно самим юзать, имея виртуалку в Azure, файлы баз можно положить на Blob Storage и бэкапиться снапшотами. Вообще, и файлы баз On Premises инстансов технически тоже можно положить в Blob Storage просто, чтобы поковырять фичу...
8 июл 16, 16:51    [19387271]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 1015
+ из плюсов - для point in time recovery не нужен restore sequence full+diff+logs, в случае со снапшотами если нужно восстановиться на время t, то достаточно иметь два log снапшота l_t1 и l_t2, где t1 <= t and t <= t2.
8 июл 16, 16:57    [19387300]     Ответить | Цитировать Сообщить модератору
 Re: Кто куда бэкапит большие базы?  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 1015
+ бэкап происходит быстро :)
8 июл 16, 16:57    [19387303]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить