Безопасность данных

Аварийное восстановление и резервное копирование данных

В общем смысле под резервным копированием понимается резервное копирование данных или резервное копирование системы, а под аварийным восстановлением понимается резервное копирование данных или резервное копирование системы приложений, которые не находятся в одном компьютерном зале. Резервное копирование осуществляется с помощью программного обеспечения для резервного копирования, а аварийное восстановление — с помощью программного обеспечения репликации или зеркалирования. Фундаментальное различие между ними заключается в следующем:

(1) Аварийное восстановление в основном направлено на внезапные бедствия, такие как электричество, наводнения, землетрясения и другие неконтролируемые аномальные факторы. Поэтому необходимо обеспечить определенное безопасное расстояние между центром резервного копирования аварийного восстановления и основным центром резервного копирования данных. в том же дата-центре.

(2) Система аварийного восстановления не только защищает данные, но и направлена ​​на обеспечение непрерывности бизнеса, в то время как система резервного копирования данных защищает только безопасность данных;

(3) Аварийное восстановление обеспечивает целостность данных; резервное копирование обычно восстанавливает данные до момента резервного копирования.

(4) Аварийное восстановление — это онлайн-процесс резервного копирования;

(5) В системе аварийного восстановления данные в двух местах согласованы в режиме реального времени; данные резервного копирования имеют определенную своевременность;

(6) В случае сбоя время переключения системы аварийного восстановления составляет от нескольких секунд до нескольких минут, тогда как время восстановления резервной системы может составлять от нескольких часов до десятков часов;

Эта статья в основном начинается сРезервное копирование данныхперспектива внедрения доступных на данный момент решений по внедрению。Что касается плана аварийного восстановления, пожалуйста,сосредоточиться наhttps://km.woa.com/group/40319/articles/show/516112

Применимые сценарии

Форс-мажорные обстоятельства, такие как землетрясения, наводнения и т.п.

Утечка ключей, перезапись или удаление ресурсов объекта, например утечка ключей на github, взлом, злонамеренный шантаж.

Злонамеренное удаление или изменение, вызванное субъективными факторами человека, такими как широко распространенное «удаление базы данных и побег».

Данные случайно удаляются из-за человеческих и объективных факторов, а также, в более общем плане, из-за асимметрии в понимании данных между предприятиями, что приводит к случайному удалению.

схема контроля версий

Архитектура безопасности данных

Процесс и реализация

Подготовка ресурсов

Включите параметры контроля версий для соответствующего сегмента.

Консоль COS --- выберите указанный сегмент --- управление отказоустойчивостью и аварийным восстановлением --- контроль версий --- включение контроля версий.

Настройка среды

Для контроля версий не требуются другие ресурсы. Просто включите функцию контроля версий в текущем сегменте.

Отладка и реализация

После включения контроля версий нет необходимости добавлять специальный код в логику загрузки и доступа. Необходимо лишь своевременно очищать удаленные объекты и лишние данные, таким образом контролируя затраты на хранение.

Возьмем в качестве примера .NET SDK.

При удалении одного объекта добавляется SetVersionId для удаления указанной версии.

Для объектов или коллекций префиксов информацию об исторических версиях можно запросить через ListBucketVersions.

Консоль отображает информацию о версии объекта

Переключение сети в реальном времени

Нет необходимости переключать услуги.

Сценарий отката

Отключите контроль версий в консоли (примечание: после включения нескольких версий их нельзя закрыть, а можно только приостановить)

Доход от аварийного восстановления

Для данных в корзине реализована многоверсионная избыточность, которая позволяет избежать перезаписи одного и того же файла, случайного удаления и других распространенных операций по потере данных. Однако она не может предотвратить злонамеренное удаление с использованием номеров версий, удаление жизненного цикла и другое активное удаление. поведение.

Это защитная мера со средним уровнем безопасности.

Стоимость ремонта

Стоимость в основном зависит от цикла хранения нескольких версий на стороне бизнеса, а очистка версий может выполняться совместно с жизненным циклом.

Во время цикла очистки нескольких версий: общий трафик загрузки == приращение объекта хранилища.

Вне цикла очистки нескольких версий: сохраните исходный список объектов.

Доступность ресурсов

Он недоступен после удаления и доступен после восстановления версии.

Избыточность ресурсов

Емкость хранилища ресурсов：1раз<X<=1раз+Шаг загрузки

Решение для резервного копирования между кампусами

Схема архитектуры процесса межкампусной репликации

Процесс и реализация

Подготовка ресурсов

1. Подготовьте два сегмента хранилища по всему кампусу и одновременно включите функцию контроля версий.

1. Задайте настройки для нескольких кампусов в исходном сегменте

Расположение: консоль COS — управление отказоустойчивостью и катастрофоустойчивостью сегмента — репликация сегмента.

Выберите целевой тип хранилища в зависимости от бизнес-требований.

При наличии мультиактивности в двух местах рекомендуется установить тип целевого хранилища на стандартное хранилище или низкочастотное хранилище.

Если имеется два основного и вторичного расположения, рекомендуется, чтобы типом целевого хранилища было архивное хранилище или глубокое архивное хранилище.

После завершения настройки дополнительные данные могут быть автоматически синхронизированы. Данные инвентаризации необходимо копировать вручную, а продукты MSP можно использовать для работы.

Настройка среды

Создание двух сегментов приведет к созданию двух доменных имен по умолчанию. Бизнес-сторона может самостоятельно реализовать переключение доменных имен посредством конфигурации.

Отладка и реализация

CosXmlConfig config = new CosXmlConfig.Builder()
              .SetRegion("ap-beijing")
              //.SetRegion("ap-chongqing")
              // Установите регион по умолчанию — Пекин, а резервный регион — Чунцин. COS Пожалуйста, обратите внимание на аббревиатуру региона. https://cloud.tencent.com/document/product/436/6224
              .Build();

string bucket = "beijing-master-12539XXXXX";
//string bucket = "nanjing-backup-12539XXXXX";

Примечание. Если это объект глубокого архива или типа архива, доступ к нему возможен только после разогрева.

Справочная документация：хранилище объектов POST Object restore-API Документ-Центр документов-Tencent Cloud

Примечание. В процессе отладки кода рекомендуется использовать несколько субаккаунтов AK для управления сегментами в разных кампусах. Авторизация сегментов между субаккаунтами не должна перекрываться, чтобы предотвратить побочное влияние резервных сегментов из-за утечки информации. определенный субсчет.

Переключение сети в реальном времени

После успешной отладки его можно выпустить, не затрагивая доступ к сети в реальном времени.

Сценарий отката

1. Откат кода на стороне бизнеса
2. Функция копирования сегмента приостановлена ​​или удалена

Доход от аварийного восстановления

Функция репликации сегментов хранения данных между кампусами — это чрезвычайно надежное решение для аварийного восстановления, которое позволяет избежать последствий сбоев на уровне одного кампуса, своевременно переключать сегменты резервного копирования и продолжать предоставлять услуги.

предотвратимый：Решение для резервного копирования между кампусамипредотвратимыйкодbugОтказ одного кампуса, вызванный,предотвратимый Краткосрочные последствия переключения услуг, вызванные атаками на уровне кампуса,предотвращаемый Краткосрочный эффект, когда стратегия автоматического устранения вступает в силу при выходе из строя одной машины.

Нетпредотвратимый：Влияние корневого доменного имени доменного имени по умолчанию, злонамеренно ограниченного оператором,Если вам нужно оптимизировать,Вы можете использовать собственное доменное имя, чтобы привязать сегмент в качестве основного доменного имени.,Вы также можете использовать доменное имя Bucket-appid.cos.【park】.tencentcos.cn в качестве резервного доменного имени.,Максимально предотвращайте неправильную работу оператора.

Стоимость ремонта

1. Плата за хранилище: после включения политики синхронизации удаления это объем хранилища исходного сегмента * цена за единицу целевого типа хранилища,

Например, исходный сегмент парка Пекина составляет 100 ГБ стандартного хранилища, а ежемесячная цена составляет 0,15 юаней * 100 = 15 юаней; целевой сегмент хранилища парка Нанкина составляет 100 ГБ архивного хранилища, а ежемесячная цена составляет 0,03 юаня * 100 = 3 юаня.

1. Плата за межрегиональный трафик: ежедневная дополнительная плата за трафик.

Например: ежемесячный объем загрузки исходного сегмента составляет 50 ГБ. Ежемесячная надбавка составляет 50*0,5 юаней = 25 юаней.

Доступность ресурсов

Стратегия полной инкрементной синхронизации основного резервного копирования может предотвратить случайное удаление и события злонамеренного удаления, а также восстановить целевые файлы из резервной корзины.

Стратегия взаимной синхронизации, позволяющая удалять метки из нескольких источников, может предотвратить недоступность услуги, вызванную сбоями на уровне одного кампуса, а также контролировать затраты.

Избыточность ресурсов

Емкость хранилища ресурсов：1раз<X<=1раз+Увеличение количества версий исходного сайта+Загрузите приращения нескольких версий в целевой сегмент.-Сумма автоматического клиринга жизненного цикла

Гетерогенные решения для резервного копирования

Схема архитектуры

Процесс и реализация

Подготовка ресурсов

● Инструменты COSFS (обязательно).

● CVM (обязательно)

● Экземпляр CFS (выберите один из двух)

● Экземпляр CBS (выберите один из двух)

Настройка среды

● Установите точку доступа COS.

На примере Centos установите зависимую среду.

sudo yum install libxml2-devel libcurl-devel -y

Настройте ключевую информацию учетной записи и авторизуйте

echo <BucketName-APPID>:<SecretId>:<SecretKey> > /etc/passwd-cosfs
chmod 640 /etc/passwd-cosfs

Создайте каталог точки доступа для монтирования

mkdir /data-cos/

Установка точки доступа

cosfs <BucketName-APPID> <MountPoint> -ourl=http://cos.<Region>.myqcloud.com -odbglevel=info -oallow_other

● Подключите точку доступа CFS.

На примере Centos установите зависимую среду.

sudo yum install nfs-utils

Создайте каталог точки доступа для монтирования

mkdir /data-cfs/

Установка точки доступа

sudo mount -t nfs -o vers=4.0,noresvport <точка монтирования IP>:/ <Каталог для монтирования>

● Установите точку доступа CBS.

Создайте экземпляр CBS и выполните монтирование диска на консоли.

Инициализировать облачный диск

mkfs.ext4 /dev/vdb

Создать каталог точки доступа к облачному диску

mkdir /data-disk/

Установка точки доступа

mount /dev/vdb /data-disk

Для эффекта после монтирования выполните df -h

Отладка и реализация

## нуждаться:
Делайте резервную копию каждый день в 3 часа ночи.
Запишите команду резервного копирования в скрипт
## Задача:
1. Требуемый формат имени файла ежедневной резервной копии: DB2022-08-02.tar.gz.
2. При выполнении запланированной задачи не выводите информацию о задаче.
# 1. Предварительно написанный сценарий
#!/bin/bash
## Установите имя переменной каталога
bak_dir="/data-cos/DBBak"
## Создать каталог
mkdir -p $bak_dir
cd $bak_dir
## Внедрить требования к названию пакета и дате
tar zcf ./DB$(date +%F).tar.gz ./dbbak
## Реализуйте сжатые пакеты, копируйте их на гетерогенные устройства хранения: CFS и диски с данными.
cp ./DB$(date +%F).tar.gz /data-cfs/
cp ./DB$(date +%F).tar.gz /data-disk/
## Удалить временные файлы
rm -f ./DB$(date +%F).tar.gz

# 2. Напишите запланированные задачи
(1) Сначала проверяйте каждую минуту, чтобы убедиться в успехе, а затем записывайте требования после успеха.
[root@localhost ~]# crontab -e
0 3 * * * /bin/sh ~/backup_etc.sh &>/dev/null
# +---------------- minute  минут(0 - 59)
# |  +------------- hour    часы(0 - 23)
# |  |  +---------- day     дата(1 - 31)
# |  |  |  +------- month   месяц(1 - 12)
# |  |  |  |  +---- week    неделя(0 - 7) (воскресенье=0 or 7)
# |  |  |  |  |
# *  *  *  *  *  команда для запуска

После успешного выполнения теста вы сможете увидеть сжатие и вывод в указанный каталог устройства хранения.

Переключение сети в реальном времени

Относится к обходу резервного копирования и не затрагивает бизнес

Сценарий отката

Откат не предусмотрен

Доход от аварийного восстановления

Стоимость ремонта

Стоимость хранения экземпляра CFS, кампус Пекина 0–10 Ти Б 0,35 юаней/Ги Б/месяц

Стоимость хранения экземпляра CBS, высокопроизводительный облачный жесткий диск, обычная цена в кампусе Пекина составляет 0,35 юаня/ГБ/месяц.

Доступность ресурсов

Стратегия полного/добавочного резервного копирования может предотвратить случайное удаление и события злонамеренного удаления, а также восстановить целевые файлы с устройств хранения резервных копий. Гетерогенные устройства могут самостоятельно очищать просроченные файлы в соответствии с бизнес-правилами для контроля затрат.

Избыточность ресурсов

Емкость хранилища ресурсов：1раз<X<=1раз+Гетерогенное хранилище устройств-Удаление ресурсов хранения с истекшим сроком действия на гетерогенных устройствах

Мультиоблачное решение для резервного копирования

Схема архитектуры

Процесс и реализация

Подготовка ресурсов

● Экземпляр CVM.

● Экземпляр бессерверной функции.

● CMQ

Настройка среды

Здесь мы используем инструмент ossimport в качестве примера для опроса данных COS каждые 900 секунд и загрузки их в OSS.

Конфигурация, связанная с инструментом

//Запускаем задачу опроса

isIncremental=true

//Интервал времени для задач опроса

incrementalModeInterval=900

//Информация об исходном сегменте

srcAccessKey=XXX

srcSecretKey=XXX

//Тип исходного сегмента

srcType=cos

//Источник региональной информации

srcDomain=gz

//Имя исходного сегмента

srcBucket=wainsungz

//Информация о целевом аккаунте

destAccessKey=XXX

destSecretKey=XXX

//Доменное имя целевого сегмента

destDomain=http://oss-cn-beijing.aliyuncs.com

//Имя целевого сегмента

destBucket=sunweibjtest

//Специальная конфигурация сегмента COS, appid

appId=125398xxxx

Отладка и реализация

После запуска ossimport сформирует задачу и начнет пакетное копирование.

Переключение сети в реальном времени

Это обходная резервная копия, которая не требует внесения изменений в существующую сеть.

Сценарий отката

Обход логики, вы можете выполнить откат самостоятельно

Доход от аварийного восстановления

Стоимость ремонта

Инструмент миграции конфигурации CVM

OSS экономит избыточное хранилище

Доступность ресурсов

Стратегия полного/добавочного резервного копирования может предотвратить случайное удаление и события злонамеренного удаления, а также восстановить целевые файлы с устройств хранения резервных копий. Youshang Cloud может эффективно контролировать разрешения на уровне основной учетной записи. Возврат к источнику CDN можно настроить с помощью межоблачной мультиактивности.

Избыточность ресурсов

Емкость хранилища ресурсов：1раз<X<=1раз+目标目录的Шаг загрузки-Объем очистки ресурсов резервного сегмента