Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Бэкапы: был печальный опыт  [new]
Alexander Us
Member

Откуда:
Сообщений: 1161
Был печальный опыт,
когда NAS диск записывал неправильно 1 бит на ~1TB данных (сжатые бэкапы)

Поэтому хотелось бы делать так:
- делаем бэкап на сетевой NAS диск со включённой генрацией контрольной суммы
- запускаем на этом NAS (а там линукс) программу для проверки контрольной суммы файла

Ну и вопрсы:
- Есть ли тулы для Линукса/Видны для проверки контрольной суммы файла бэкапа ( !!! без использования SQL Сервера !!! )
- Есть ли у кого ссылки на описание формата файла бэкапа
3 мар 17, 15:41    [20260807]     Ответить | Цитировать Сообщить модератору
 Re: Бэкапы: был печальный опыт  [new]
Гавриленко Сергей Алексеевич
Member

Откуда:
Сообщений: 37254
Хотите свой restore verifyonly?
3 мар 17, 15:50    [20260846]     Ответить | Цитировать Сообщить модератору
 Re: Бэкапы: был печальный опыт  [new]
Alexander Us
Member

Откуда:
Сообщений: 1161
Гавриленко Сергей Алексеевич,

Да, но только в части проверки контрольной суммы файла.
Задача то элементарная если известен формат и алгоритм.
3 мар 17, 15:57    [20260891]     Ответить | Цитировать Сообщить модератору
 Re: Бэкапы: был печальный опыт  [new]
Гавриленко Сергей Алексеевич
Member

Откуда:
Сообщений: 37254
Alexander Us
Гавриленко Сергей Алексеевич,

Да, но только в части проверки контрольной суммы файла.
Задача то элементарная если известен формат и алгоритм.
Ага, ну удачи в изучении формата и алгоритма. Расскажете потом.
3 мар 17, 16:02    [20260917]     Ответить | Цитировать Сообщить модератору
 Re: Бэкапы: был печальный опыт  [new]
Alexander Us
Member

Откуда:
Сообщений: 1161
Гавриленко Сергей Алексеевич,

как насчёт описания фората?
есть у кого?
3 мар 17, 16:08    [20260936]     Ответить | Цитировать Сообщить модератору
 Re: Бэкапы: был печальный опыт  [new]
gdkhkl
Guest
Проще вместо NAS на Linux использовать Windows Storage Server.
Можно поставить SQL Express и нативно проверять бэкапы.
3 мар 17, 16:10    [20260945]     Ответить | Цитировать Сообщить модератору
 Re: Бэкапы: был печальный опыт  [new]
Alexander Us
Member

Откуда:
Сообщений: 1161
gdkhkl,

хотелось бы иметь утилиту, позволяющую проверять контрольную сумму файла как такового,
независимо от операционной системы и наличия скуля.
По моему было бы разумно.

Я реализовал сейчас так:
  • бэкап локально, c verify
  • подсчёт sha1
  • перенос в хранилище
  • проверка sha1 прямо в хранилище

    Плюсы:
  • файлы передаются по сети 1 раз
  • при корировании файла куда либо можно проверить его sha1

    Минусы:
  • допольнительая операция чтения файля для подсчёта sha1
  • sha1 подсчитывается уже после записи на диск.

    Таким образом идеально было бы иметь доступ в оригинальной контрольной сумме.
  • 3 мар 17, 16:28    [20261028]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    Владислав Колосов
    Member

    Откуда:
    Сообщений: 8826
    Alexander Us,

    такие тулы давно придуманы и называются "архиватор файлов".
    3 мар 17, 16:31    [20261051]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    Alexander Us
    Member

    Откуда:
    Сообщений: 1161
    Владислав Колосов
    Alexander Us,

    такие тулы давно придуманы и называются "архиватор файлов".

    т.е. есть архиватор файлов способный проверить нативную контрольную сумму sql-бэкапа?
    назовите его пожалуйста.
    3 мар 17, 16:51    [20261141]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    LSV
    Member [заблокирован]

    Откуда: Киев
    Сообщений: 30817
    Alexander Us
    т.е. есть архиватор файлов способный проверить нативную контрольную сумму sql-бэкапа?
    назовите его пожалуйста.
    RAR сможет поднять даже немного поврежденный файл.
    3 мар 17, 18:33    [20261482]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    LSV
    Member [заблокирован]

    Откуда: Киев
    Сообщений: 30817
    ....Поврежденный файл архива. У меня такое было. В рар-файле было поломано неск. десятков небольших цепочек байт (диск посыпалсо). Ничего не пропало.
    3 мар 17, 18:36    [20261486]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    Mind
    Member

    Откуда: Лучший город на Земле
    Сообщений: 2322
    Alexander Us
    Владислав Колосов
    Alexander Us,

    такие тулы давно придуманы и называются "архиватор файлов".

    т.е. есть архиватор файлов способный проверить нативную контрольную сумму sql-бэкапа?
    назовите его пожалуйста.
    Чего вы нам мозг то выносите? Контрольная сумма файла бэкапа?? Нативная контрольная сумма sql-бэкапа?? Файл он и в Африке файл. Тот что NAS диск что-то делает с файлом, это проблемы NAS диска. При чем тут SQL вообще?
    3 мар 17, 20:30    [20261757]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    alexeyvg
    Member

    Откуда: Moscow
    Сообщений: 31981
    Alexander Us
    Таким образом идеально было бы иметь доступ в оригинальной контрольной сумме.
    Единственной гарантией корректности бакапа является его успешное восстановление.
    Восстанавливайте продакшен-бакап на тестовый сервер, по расписанию, как часть процедуры бакапа, и будет счастье.
    4 мар 17, 11:57    [20262633]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    leov
    Member

    Откуда: С-Петербург
    Сообщений: 616
    alexeyvg,

    должен заметить что утверждение довольно печальное
    21 век на дворе, космические корабли бороздят.....
    и проверять корректность методом тыка
    бэкап бывает ого-го какой громадный, база еще больше
    уверен что мало кто постоянно так бэкапы проверяют
    выходит большинство непонятно на что надеются
    4 мар 17, 12:33    [20262697]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    alexeyvg
    Member

    Откуда: Moscow
    Сообщений: 31981
    leov
    и проверять корректность методом тыка
    Почему методом тыка? Методом восстановления.
    leov
    должен заметить что утверждение довольно печальное
    Ну да, было бы хорошо иметь отдельную небольшую утилиту для проверки.

    К сожалению, вот такая практика сложилась, у всех без исключения производителей софта :-( (может есть исключения, но мне они неизвестны)
    Невозможно проверить файл данных, кроме как попробовать его использовать в соотв. софте.

    leov
    уверен что мало кто постоянно так бэкапы проверяют
    Да, наверное, так делает меньшинство.
    Непонятно, почему.
    Откуда у людей уверенность, что бакап нормальный, что, в случае чего, база будет восстановлена?

    Впрочем, ещё больше людей вообще не делает бакапов, они настолько же уверены в том, что проблем не будет, как и те, кто делает бакапы, но не проверяет.
    4 мар 17, 16:15    [20262923]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    Alexander Us
    Member

    Откуда:
    Сообщений: 1161
    alexeyvg
    Почему методом тыка? Методом восстановления.

    Для тех хто на бронепоезде:

    я же написал, что проверяю бэкапы сразу после их создания методом "restore verify".
    Чтобы избежать влияния сбоев сети бэкапы создаются на локалный диск, проверяются, затем с помощью robocopy переносятся в хранилище.

    Как справедливо заметил Mind из Лучшего города на Земле "Файл он и в Африке файл"
    по этому замечанию делаем вывод, что город, о котором идёт речь находится в африке

    Так что остаётся удостовериться, что процесс переноса в хранилище прошел корректно.
    4 мар 17, 18:57    [20263100]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    Alexander Us
    Member

    Откуда:
    Сообщений: 1161
    alexeyvg
    ...они настолько же уверены в том, что проблем не будет, как и те, кто делает бакапы, но не проверяет.

    Вы правы, я так и делал, пока не догнала действительность.
    4 мар 17, 19:02    [20263104]     Ответить | Цитировать Сообщить модератору
     Re: Бэкапы: был печальный опыт  [new]
    iljy
    Member

    Откуда:
    Сообщений: 8711
    Alexander Us,

    Если очень хочется добавить в жизнь драйва, то можно поэкспериментировать с VDI. Тут полный простор для самовыражения, можно сжимать и считать контрольные суммы и устраивать любые проверки целостности файла по собственному желанию. Но, увы и ах, 100% гарантию целостности бакапа все равно ни одна контрольная сумма не дает.
    4 мар 17, 22:01    [20263327]     Ответить | Цитировать Сообщить модератору
    Все форумы / Microsoft SQL Server Ответить