Что используешь для бэкапирования кластера

Для резервного копирования кластера Kubernetes я использую комбинацию специализированных инструментов и стратегий, адаптированных под конкретные компоненты и требования.

Основные инструменты для бэкапа кластера

1. Velero (ранее Heptio Ark)

Velero — это основной инструмент в моей практике для бэкапирования и восстановления кластеров Kubernetes. Он позволяет создавать резервные копии как ресурсов Kubernetes (деплойменты, сервисы, конфигурации), так и persistent volumes (PV).

# Установка Velero CLI
brew install velero

# Создание бэкапа всего кластера
velero backup create cluster-backup --include-namespaces=*

# Создание бэкапа с snapshot'ами PersistentVolumes
velero backup create full-backup --include-namespaces=production --snapshot-volumes

Velero поддерживает различные storage backends (AWS S3, Azure Blob Storage, Google Cloud Storage) и интегрируется с облачными провайдерами для создания снапшотов дисков.

2. Restic (интегрированный с Velero)

Для бэкапирования томов, не поддерживающих native snapshot API, я использую Restic через Velero:

# Включение Restic в Velero
velero install --use-restic

# Аннотация pod'ов для бэкапа томов
kubectl annotate pod/myapp -n production backup.velero.io/backup-volumes=app-data

3. Kasten K10

Для enterprise-сред с требованием политик DR (Disaster Recovery) использую Kasten K10. Он предоставляет:

• Application-aware бэкапы
• Миграцию приложений между кластерами
• Встроенную проверку восстановления

Стратегия бэкапирования

Многоуровневый подход

1. Ресурсы Kubernetes (YAML-манифесты)
2. Данные приложений (Persistent Volumes)
3. Конфигурация etcd (для control plane)
4. Образы контейнеров (Container Registry)

Для etcd кластера

Для бэкапа etcd (хранилища состояния кластера) использую:

# Создание снапшота etcd
ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  snapshot save /tmp/etcd-snapshot.db

Критические компоненты для бэкапа

Обязательные ресурсы:

• Custom Resource Definitions (CRDs) и Custom Resources
• Secrets и ConfigMaps (особенно с TLS-сертификатами)
• PersistentVolumeClaims и привязанные PersistentVolumes
• ServiceAccounts и RBAC-правила
• NetworkPolicies и Ingress-конфигурации

Автоматизация и политики

Пример CronJob для регулярных бэкапов:

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: velero-backup
  namespace: velero
spec:
  schedule: "0 2 * * *"
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: velero
            image: velero/velero:v1.9.0
            command:
              - /bin/sh
              - -c
              - |
                velero backup create daily-$(date +%Y%m%d) \
                  --include-namespaces=production,staging \
                  --ttl 720h

Практические рекомендации

Тестирование восстановления

Регулярно тестирую процесс восстановления:

1. Восстановление в тестовый кластер
2. Проверка целостности данных
3. Валидация работы приложений

Хранение бэкапов

• 3-2-1 правило: 3 копии, 2 разных носителя, 1 вне площадки
• Шифрование чувствительных данных
• Ведение реестра бэкапов с метаданными

Мониторинг

Настраиваю алерты на:

• Проваленные задания бэкапа
• Истекающие TTL бэкапов
• Аномалии в размере бэкапов

Особые случаи

Stateful-приложения (базы данных)

Для stateful-приложений (PostgreSQL, MongoDB) использую native инструменты бэкапа в дополнение к Velero:

# Пример: логический бэкап PostgreSQL в Kubernetes
kubectl exec postgres-pod -- pg_dumpall -U postgres > backup.sql

GitOps-инфраструктура

Для кластеров, управляемых через GitOps (ArgoCD, Flux), обязательно бэкапирую:

• Git-репозитории с конфигурациями
• AppProject и Application манифесты
• Историю синхронизаций

Выбор конкретных инструментов всегда зависит от требований RPO (Recovery Point Objective) и RTO (Recovery Time Objective), бюджетных ограничений и особенностей инфраструктуры. В production-средах обычно использую комбинацию Velero для ресурсов Kubernetes и специализированных решений для данных приложений.