PrepBro
← Назад к вопросам

Как связаны между собой партиционирование, шардирование и репликация?

2.4 Senior🔥 91 комментариев
#Базы данных и SQL

Комментарии (1)

🐱
claude-haiku-4.5PrepBro AI22 мар. 2026 г.(ред.)

Ответ сгенерирован нейросетью и может содержать ошибки

Как связаны между собой партиционирование, шардирование и репликация

Партиционирование, шардирование и репликация — три взаимодополняющих техники масштабирования базы данных. Они решают разные проблемы, но часто работают вместе для построения распределённых, высоконадёжных систем.

Партиционирование (Partitioning)

Партиционирование — разделение данных одной базы на логические части на одном или нескольких серверах для улучшения производительности.

// Пример: таблица orders разбита по диапазону дат
// Partition 1: orders 2024-01-01 до 2024-03-31 (Q1)
// Partition 2: orders 2024-04-01 до 2024-06-30 (Q2)
// Partition 3: orders 2024-07-01 до 2024-09-30 (Q3)

public class PartitionExample {
    // SQL (PostgreSQL, MySQL)
    /*
    CREATE TABLE orders (
        id BIGINT PRIMARY KEY,
        created_date DATE,
        amount DECIMAL,
        customer_id BIGINT
    ) PARTITION BY RANGE (YEAR(created_date), MONTH(created_date));
    
    CREATE TABLE orders_2024_q1 PARTITION OF orders
        FOR VALUES FROM (2024, 1) TO (2024, 4);
    */
}

// Преимущества партиционирования
// - Запросы работают только на нужные партиции (pruning)
// - Легче управлять большими таблицами
// - Можно удалять старые партиции целиком

Типы партиционирования:

public class PartitioningStrategies {
    // 1. Range partitioning (по диапазону)
    // Примеры: по дате, по числовому диапазону
    // Таблица_2024, Таблица_2025, ...
    
    // 2. List partitioning (по значениям)
    // Примеры: по регионам (US, EU, ASIA)
    // orders_us, orders_eu, orders_asia
    
    // 3. Hash partitioning (по хешу)
    // hash(user_id) % 4 -> partition 0-3
    // Равномерное распределение данных
    
    // 4. Composite partitioning
    // Сначала Range, потом Hash
    // (date) -> Hash(user_id)
}

Шардирование (Sharding)

Шардирование — горизонтальное масштабирование, при котором данные распределяются между несколькими независимыми базами по определённому ключу (sharding key).

public class ShardingExample {
    // Шарды по user_id
    // Shard 1: users 0-9999
    // Shard 2: users 10000-19999
    // Shard 3: users 20000-29999
    
    public int getShardId(long userId) {
        // Простой способ: модульное деление
        return (int) (userId % 3);  // 3 шарда
    }
    
    public void saveUser(long userId, User user) {
        int shardId = getShardId(userId);
        Database db = getDatabaseForShard(shardId);
        db.save(user);
        // Сохраняем в правильный шард
    }
}

// Практический пример с Java
public class ShardingKeyStrategyExample {
    
    // Стратегия 1: Range-based
    public static int getRangeBasedShard(long userId) {
        if (userId < 1_000_000) return 0;  // Shard 0
        if (userId < 2_000_000) return 1;  // Shard 1
        return 2;  // Shard 2
    }
    
    // Стратегия 2: Consistent Hashing
    public static int getConsistentHashShard(String key, int totalShards) {
        int hash = key.hashCode();
        return Math.abs(hash) % totalShards;
    }
    
    // Стратегия 3: Directory-based
    private Map<Long, Integer> userToShardMap = new HashMap<>();
    
    public int getDirectoryBasedShard(long userId) {
        return userToShardMap.getOrDefault(userId, 0);
    }
}

Важные различия от партиционирования:

  • Шарды находятся на разных серверах/инстансах БД
  • Шардирование требует управления на уровне приложения
  • Шарды полностью независимы друг от друга

Репликация (Replication)

Репликация — копирование данных с одного сервера (Master) на несколько других (Replicas/Slaves) для:

  • Отказоустойчивости: если Master упадёт, Replica может его заменить
  • Масштабирования чтения: читаем с Replicas, пишем в Master
  • Географического распределения: копии данных в разных местах
public class ReplicationExample {
    // Топология Master-Slave
    /*
    Master Database
      |
      |--- Write операции
      |--- Реплицирует все изменения
      |
    +--+--+
    |  |  |
   Slave1 Slave2 Slave3
    |  |  |
    +--- Read операции
    */
}

// Пример использования в Java
public class ReplicationStrategyExample {
    
    private DataSource masterDataSource;      // Master
    private List<DataSource> replicaDataSources;  // Slaves
    
    public void writeData(String data) throws SQLException {
        // Пишем ТОЛЬКО в Master
        Connection conn = masterDataSource.getConnection();
        // INSERT, UPDATE, DELETE
    }
    
    public String readData(String query) throws SQLException {
        // Читаем из любой Replica (load-balanced)
        DataSource replica = selectRandomReplica();
        Connection conn = replica.getConnection();
        // SELECT
        return result;
    }
    
    private DataSource selectRandomReplica() {
        int index = new Random().nextInt(replicaDataSources.size());
        return replicaDataSources.get(index);
    }
}

Типы репликации:

public class ReplicationTypes {
    // 1. Синхронная репликация
    // Master ждёт подтверждения от Replicas перед commit
    // Плюсы: гарантия консистентности
    // Минусы: медленнее
    
    // 2. Асинхронная репликация
    // Master сразу отвечает, репликация идёт в фоне
    // Плюсы: быстро
    // Минусы: временное несоответствие данных (eventual consistency)
    
    // 3. Semi-synchronous
    // Master ждёт одного Replica, остальные асинхронно
    // Баланс между скоростью и надёжностью
}

Как это связано вместе

Сценарий 1: Партиционирование + Репликация

public class PartitioningWithReplication {
    /*
    Таблица orders разбита по дате на 4 партиции:
    
    2024_Q1 Partition
      |
      +-- Master (Shard 1)
           |
           +-- Replica 1
           +-- Replica 2
    
    2024_Q2 Partition
      |
      +-- Master (Shard 2)
           |
           +-- Replica 1
           +-- Replica 2
    */
}

Сценарий 2: Шардирование + Репликация (самый распространённый)

public class ShardingWithReplication {
    /*
    Shard 1 (users 0-9999)
      |
      +-- Master Server 1
           |
           +-- Replica 1a
           +-- Replica 1b
    
    Shard 2 (users 10000-19999)
      |
      +-- Master Server 2
           |
           +-- Replica 2a
           +-- Replica 2b
    
    Каждый шард имеет свою мастер-реплику архитектуру
    */
}

// Практический пример
public class ShardedReplicationCluster {
    
    private Map<Integer, ShardNode> shards = new HashMap<>();
    
    static class ShardNode {
        DataSource master;           // Мастер шарда
        List<DataSource> replicas;   // Реплики шарда
    }
    
    public void writeData(long userId, String data) throws SQLException {
        int shardId = getShardId(userId);
        ShardNode shard = shards.get(shardId);
        
        // Пишем в мастер этого конкретного шарда
        Connection conn = shard.master.getConnection();
        // INSERT/UPDATE/DELETE
    }
    
    public String readData(long userId, String query) throws SQLException {
        int shardId = getShardId(userId);
        ShardNode shard = shards.get(shardId);
        
        // Читаем из реплики этого шарда (load balanced)
        DataSource replica = shard.replicas.get(0);
        Connection conn = replica.getConnection();
        // SELECT
        return result;
    }
    
    private int getShardId(long userId) {
        return (int) (userId % shards.size());
    }
}

Сценарий 3: Партиционирование + Шардирование + Репликация

public class ComplexDistributedSystem {
    /*
    2024_Q1 Partition
      |
      +-- Shard 1 (Master)
      |    +-- Replica 1a
      |    +-- Replica 1b
      |
      +-- Shard 2 (Master)
           +-- Replica 2a
           +-- Replica 2b
    
    2024_Q2 Partition
      |
      +-- Shard 1 (Master)
      |    +-- Replica 1a
      |    +-- Replica 1b
      |
      +-- Shard 2 (Master)
           +-- Replica 2a
           +-- Replica 2b
    */
}

Таблица сравнения

ТехникаЦельМесто храненияУправление
ПартиционированиеУлучшить query performanceОдин/несколько серверов (одна БД)На уровне БД
ШардированиеГоризонтальное масштабирование данныхРазные серверы (разные БД)На уровне приложения
РепликацияОтказоустойчивость и read scalingРазные серверыНа уровне БД (с приложением)

Практические рекомендации

public class BestPractices {
    
    // 1. Выбирайте правильный sharding key
    // - Должна распределять данные равномерно
    // - Минимум joins между шардами
    // - Стабильна (не меняется)
    
    // 2. Реплики для чтения
    public List<User> readUsers(String query) {
        // Используйте read replicas с round-robin или случайным выбором
    }
    
    // 3. Мониторинг репликации lag
    // Если replica отстаёт, перенаправляйте чтение на master
    
    // 4. Обработка отказов
    // Если master упал, promote один replica
    // Если replica упала, отключите из read pool
    
    // 5. Миграция шардов
    // Используйте двойную запись (dual write) или log-based replication
}

Вместе партиционирование, шардирование и репликация образуют основу распределённых OLTP систем, способных обрабатывать миллиарды операций в день.

Как связаны между собой партиционирование, шардирование и репликация? | PrepBro