Можно ли всегда восстановить систему?

Можно ли всегда восстановить систему?

В реальных системах ответ — нет, не всегда. Это фундаментальная проблема, которую нужно понимать при проектировании отказоустойчивых приложений. Давай разберёмся в нюансах.

Почему восстановление не гарантировано

1. Потеря данных

Если критические данные повреждены или потеряны, восстановление системы может быть невозможным или неполным:

// Плохо — нет резервных копий
public class DataService {
    private Map<String, Data> cache = new HashMap<>();
    
    public void save(String key, Data data) {
        cache.put(key, data);
        // Если процесс упадёт, всё потеряется
    }
}

// Хорошо — с дублированием в БД
public class ResilientDataService {
    private final Database database;
    private final BackupService backup;
    
    public void save(String key, Data data) {
        database.save(key, data);
        backup.replicate(key, data);
        // При отказе один из источников восстановит систему
    }
}

2. Каскадный отказ

Если одна система в цепи полностью отказала, весь конвейер может остановиться:

// Уязвимо для каскадного отказа
public class OrderProcessor {
    public void processOrder(Order order) {
        payment.charge(order);      // Если упадёт...
        inventory.decrease(order);  // ...это не выполнится
        notify.sendEmail(order);    // И это тоже
    }
}

// Защита через очередь сообщений
public class ResilientOrderProcessor {
    private final MessageQueue queue;
    
    public void processOrder(Order order) {
        queue.publish("order.created", order);
        // Обработчики независимы, могут переподключиться
    }
}

3. Несогласованное состояние

Частичный отказ может привести к состоянию, которое невозможно разрешить:

// Проблема: деньги списаны, но товар не заказан
public class BankTransfer {
    public void transfer(Account from, Account to, BigDecimal amount) {
        from.debit(amount);    // Успешно
        to.credit(amount);     // БД недостижима — откат невозможен
    }
}

// Решение: распределённая транзакция
public class SafeTransfer {
    private final TransactionLog log;
    
    @Transactional
    public void transfer(Account from, Account to, BigDecimal amount) {
        log.begin("transfer", from, to, amount);
        from.debit(amount);
        to.credit(amount);
        log.commit();
        // При отказе: восстановление по логу
    }
}

Уровни восстановляемости

Полное восстановление (RTO ≈ 0)

Примеры: Кластеры с репликацией

• Данные реплицируются на несколько узлов
• При отказе автоматический failover
• Система продолжает работать без перерыва

public class HighAvailabilityService {
    private final PrimaryDatabase primary;
    private final SecondaryDatabase secondary;
    private final HealthCheck health;
    
    public <T> T query(String sql) {
        try {
            return primary.execute(sql);
        } catch (ConnectionException e) {
            if (health.isPrimaryDown()) {
                return secondary.execute(sql);
            }
            throw e;
        }
    }
}

Частичное восстановление (RTO = часы)

Примеры: Восстановление из backup

• Данные восстановлены, но потеряны последние часы
• Требуется ручное вмешательство
• Приложение работает, но с потерей данных

Невозможное восстановление

Примеры: Полный отказ без backup

• Единственный сервер сломан
• Жёсткий диск повреждён
• Нет резервных копий

Практические стратегии

1. Идемпотентность

Любая операция может быть выполнена несколько раз безопасно:

public class IdempotentPayment {
    private final Set<String> processedIds = new ConcurrentHashSet<>();
    
    public void processPayment(String idempotencyKey, Payment payment) {
        if (processedIds.contains(idempotencyKey)) {
            return; // Уже обработано
        }
        payment.charge();
        processedIds.add(idempotencyKey);
    }
}

2. Circuit Breaker

Предотвращение каскадного отказа:

public class CircuitBreakerExample {
    private enum State { CLOSED, OPEN, HALF_OPEN }
    private State state = State.CLOSED;
    private int failures = 0;
    
    public void call(Service service) {
        if (state == State.OPEN) {
            throw new ServiceUnavailableException("Circuit breaker open");
        }
        try {
            service.execute();
            failures = 0;
            state = State.CLOSED;
        } catch (Exception e) {
            failures++;
            if (failures >= 5) {
                state = State.OPEN;
            }
            throw e;
        }
    }
}

Вывод

Восстановить систему можно в большинстве случаев, если:

• ✅ Данные продублированы
• ✅ Система спроектирована на частичные отказы
• ✅ Используются очереди, circuit breakers, timeouts
• ✅ Существуют резервные копии

Полное восстановление невозможно только при:

• ❌ Утрате всех копий данных
• ❌ Повреждении целостности данных на всех узлах
• ❌ Отсутствии механизма восстановления

Журналирование и резервирование — не дорогие роскоши, а базовые требования для production-систем.