Как обеспечить отказоустойчивость в Redis

Как обеспечить отказоустойчивость в Redis

Отказоустойчивость (high availability) в Redis критична для production систем. Существует несколько стратегий и архитектурных решений.

1. Redis Replication (Основной-Реплика)

Самый базовый уровень отказоустойчивости — репликация:

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;

public class RedisReplication {
    // Основной сервер (master)
    private JedisPool masterPool = new JedisPool("master-host", 6379);
    
    // Реплика (slave/replica)
    private JedisPool replicaPool = new JedisPool("replica-host", 6379);
    
    public void writeData(String key, String value) {
        try (Jedis jedis = masterPool.getResource()) {
            jedis.set(key, value);
            // Данные автоматически реплицируются на slave
        }
    }
    
    public String readData(String key) {
        // Для читаемости нагрузки читаем с реплики
        try (Jedis jedis = replicaPool.getResource()) {
            return jedis.get(key);
        }
    }
}

// Конфигурация Redis slave (redis.conf)
// replicaof master-host 6379
// replica-serve-stale-data yes

Преимущества:

• Простая настройка
• Масштабирование для чтения
• Низкие задержки репликации

Недостатки:

• Ручная переключение на реплику при отказе
• Потеря данных при сбое master

2. Redis Sentinel (автоматический failover)

Rabbit Sentinel автоматически мониторит и переключает сервера:

import redis.clients.jedis.JedisSentinelPool;
import redis.clients.jedis.JedisPoolConfig;
import java.util.HashSet;
import java.util.Set;

public class RedisSentinelHA {
    public static void main(String[] args) {
        // Настройка Sentinel пула
        Set<String> sentinels = new HashSet<>();
        sentinels.add("sentinel-1:26379");
        sentinels.add("sentinel-2:26379");
        sentinels.add("sentinel-3:26379");
        
        JedisPoolConfig poolConfig = new JedisPoolConfig();
        poolConfig.setMaxTotal(100);
        poolConfig.setMaxIdle(50);
        poolConfig.setMinIdle(10);
        poolConfig.setTestOnBorrow(true);
        
        // Создаём Sentinel пул
        // Sentinel автоматически следит за master/replica
        JedisSentinelPool sentinelPool = new JedisSentinelPool(
            "mymaster",  // Имя master в Sentinel
            sentinels,
            poolConfig
        );
        
        // Использование
        try (var jedis = sentinelPool.getResource()) {
            jedis.set("key", "value");
            System.out.println(jedis.get("key"));
            // При отказе master, Sentinel автоматически переключит на новый master
        }
    }
}

Конфигурация Sentinel (sentinel.conf):

sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000

Параметры:

• monitor — мониторит master
• down-after-milliseconds — время, после которого master считается недоступным
• parallel-syncs — количество replica для синхронизации одновременно
• failover-timeout — timeout для failover

Преимущества:

• Автоматический failover
• Высокая доступность
• Мониторинг и уведомления

3. Redis Cluster (горизонтальное масштабирование)

Для максимальной отказоустойчивости и масштабирования:

import redis.clients.jedis.HostAndPort;
import redis.clients.jedis.JedisCluster;
import redis.clients.jedis.JedisPoolConfig;
import java.util.HashSet;
import java.util.Set;

public class RedisClusterHA {
    public static void main(String[] args) {
        // Конфигурация Cluster
        Set<HostAndPort> nodes = new HashSet<>();
        nodes.add(new HostAndPort("cluster-node-1", 6379));
        nodes.add(new HostAndPort("cluster-node-2", 6379));
        nodes.add(new HostAndPort("cluster-node-3", 6379));
        nodes.add(new HostAndPort("cluster-node-4", 6379));
        nodes.add(new HostAndPort("cluster-node-5", 6379));
        nodes.add(new HostAndPort("cluster-node-6", 6379));
        
        JedisPoolConfig poolConfig = new JedisPoolConfig();
        poolConfig.setMaxTotal(100);
        poolConfig.setMaxIdle(50);
        poolConfig.setMinIdle(10);
        
        // Создаём Cluster пул
        try (JedisCluster cluster = new JedisCluster(
            nodes,
            6000,  // connection timeout
            poolConfig
        )) {
            // Данные автоматически распределяются по узлам
            cluster.set("key1", "value1");
            cluster.hset("hash", "field", "value");
            
            String value = cluster.get("key1");
            System.out.println(value);
            
            // Cluster автоматически перераспределяет ключи при отказе узла
        }
    }
}

Архитектура Cluster:

• 3 master ноды (основные)
• 3 replica ноды (резервные)
• Каждый master имеет одного replica
• При отказе master, его replica становится новым master

Преимущества:

• Высокая доступность
• Горизонтальное масштабирование
• Автоматический failover
• Распределение данных

Недостатки:

• Сложнее в управлении
• Не все команды работают с несколькими ключами
• Требует минимум 3 ноды

4. Обработка сбоев в приложении

import redis.clients.jedis.JedisSentinelPool;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class ResilientRedisClient {
    private static final Logger logger = LoggerFactory.getLogger(ResilientRedisClient.class);
    private JedisSentinelPool jedisPool;
    private int maxRetries = 3;
    private long retryDelay = 100; // ms
    
    public String getWithRetry(String key) {
        int attempts = 0;
        while (attempts < maxRetries) {
            try {
                try (var jedis = jedisPool.getResource()) {
                    String value = jedis.get(key);
                    if (value != null) {
                        return value;
                    }
                }
            } catch (Exception e) {
                attempts++;
                logger.warn("Redis get failed, attempt {}/{}", attempts, maxRetries, e);
                if (attempts < maxRetries) {
                    try {
                        Thread.sleep(retryDelay * attempts);
                    } catch (InterruptedException ie) {
                        Thread.currentThread().interrupt();
                        break;
                    }
                }
            }
        }
        
        logger.error("Failed to get key: {} after {} attempts", key, maxRetries);
        return null;  // Fallback
    }
    
    public void setWithFallback(String key, String value) {
        try {
            try (var jedis = jedisPool.getResource()) {
                jedis.set(key, value);
            }
        } catch (Exception e) {
            logger.error("Redis set failed, using fallback", e);
            // Fallback в БД или кэш в памяти
            fallbackCache.put(key, value);
        }
    }
    
    private Map<String, String> fallbackCache = new ConcurrentHashMap<>();
}

5. Health Check и Monitoring

import redis.clients.jedis.Jedis;
import java.util.Timer;
import java.util.TimerTask;

public class RedisHealthCheck {
    private JedisSentinelPool sentinelPool;
    private Timer healthCheckTimer = new Timer();
    
    public void startHealthCheck() {
        healthCheckTimer.scheduleAtFixedRate(new TimerTask() {
            @Override
            public void run() {
                checkRedisHealth();
            }
        }, 0, 30000);  // Проверка каждые 30 сек
    }
    
    private void checkRedisHealth() {
        try (var jedis = sentinelPool.getResource()) {
            String ping = jedis.ping();
            if ("PONG".equals(ping)) {
                System.out.println("Redis is healthy");
            } else {
                System.err.println("Redis health check failed");
                alertOps();  // Уведомить ops
            }
            
            // Проверка информации сервера
            String info = jedis.info("replication");
            System.out.println("Replication info: " + info);
        } catch (Exception e) {
            System.err.println("Health check error: " + e.getMessage());
            alertOps();
        }
    }
    
    private void alertOps() {
        // Отправить алерт (Slack, email, monitoring)
    }
}

6. Персистентность для отказоустойчивости

public class RedisWithPersistence {
    // Конфигурация Redis (redis.conf)
    // RDB (снимок памяти)
    // save 900 1     # Сохранить если изменился 1 ключ за 900 сек
    // save 300 10    # Сохранить если изменилось 10 ключей за 300 сек
    // save 60 10000  # Сохранить если изменилось 10000 ключей за 60 сек
    
    // AOF (журнал операций)
    // appendonly yes
    // appendfsync everysec  # Синхронизировать каждую секунду
    
    // Комбо: RDB + AOF
    // Оба включены для максимальной безопасности данных
}

7. Сравнение стратегий

8. Production Best Practices

@Configuration
public class RedisConfig {
    
    @Bean
    public JedisSentinelPool jedisPool() {
        JedisPoolConfig config = new JedisPoolConfig();
        config.setMaxTotal(100);
        config.setMaxIdle(50);
        config.setMinIdle(10);
        config.setTestOnBorrow(true);
        config.setTestWhileIdle(true);
        config.setMinEvictableIdleTimeMillis(60000);
        config.setTimeBetweenEvictionRunsMillis(30000);
        config.setNumTestsPerEvictionRun(3);
        config.setBlockWhenExhausted(true);
        
        Set<String> sentinels = new HashSet<>();
        sentinels.add("sentinel-1:26379");
        sentinels.add("sentinel-2:26379");
        sentinels.add("sentinel-3:26379");
        
        return new JedisSentinelPool(
            "${redis.master.name}",
            sentinels,
            config,
            60000,  // connection timeout
            "${redis.password}"  // password if any
        );
    }
    
    @Bean
    public RedisTemplate<String, String> redisTemplate() {
        RedisTemplate<String, String> template = new RedisTemplate<>();
        template.setConnectionFactory(new LettuceConnectionFactory());
        return template;
    }
}

Заключение

Для production отказоустойчивости:

1. Малые проекты → Redis Replication + Sentinel
2. Средние проекты → Redis Sentinel с 3+ Sentinel нодами
3. Большие проекты → Redis Cluster
4. Всегда: включать AOF/RDB persistence, мониторинг, health checks, retry логику и fallback механизмы