Какую задачу решает Sharding?

Sharding: горизонтальное масштабирование базы данных

Sharding - это техника горизонтального масштабирования (horizontal partitioning), которая решает проблему неограниченного роста объёма данных в базе данных. Вместо того чтобы хранить всё в одной базе, данные распределяются по нескольким независимым БД (шардам) на разных серверах.

Основная задача Sharding

Когда приложение растёт, объём данных может достичь уровня, при котором одна БД не справляется:

• Производительность падает — запросы работают медленнее
• Дисковое пространство кончается — одного сервера недостаточно
• Пропускная способность исчерпана — сервер не может обрабатывать количество запросов

Sharding позволяет избежать этих проблем, разделяя нагрузку между несколькими узлами.

Как работает Sharding

Ключевая идея: данные делятся по шардам на основе shard key (ключ шардирования).

public class ShardingService {
    private static final int SHARD_COUNT = 4;
    
    public int getShardId(long userId) {
        return (int) (userId % SHARD_COUNT);
    }
    
    public void insertUser(User user) {
        int shardId = getShardId(user.getId());
        DatabaseConnection conn = getShardConnection(shardId);
        conn.execute("INSERT INTO users VALUES (?)", user);
    }
}

Типы Sharding

Range-Based: данные по диапазонам. Hash-Based: по хеш-функции. Directory-Based: через справочник.

Проблемы и Best Practices

Частые проблемы: транзакции между shards, scatter-gather запросы, сложная перебалансировка.

Выбирай ключ шардирования с высокой кардинальностью, равномерным распределением, который не меняется со временем.