Что такое шард в нереляционной базе данных?

Шардирование в нереляционных базах данных

Шард — это горизонтальный раздел данных, при котором большой набор данных распределяется по множеству отдельных серверов (узлов) на основе ключа шардирования. Это технника горизонтального масштабирования, которая позволяет значительно увеличить пропускную способность и снизить нагрузку на отдельный узел.

Зачем нужно шардирование

В современных приложениях объемы данных могут достигать петабайт, что невозможно хранить на одном сервере. Вертикальное масштабирование (покупка более мощного оборудования) имеет физические и экономические ограничения. Горизонтальное масштабирование через шардирование позволяет:

• Распределить данные по нескольким узлам
• Параллельно обрабатывать запросы на разных сервах
• Повысить доступность системы
• Уменьшить время отклика

Как работает шардирование

Данные разделяются на логические части (шарды) на основе ключа шардирования — атрибута, по которому определяется принадлежность записи к конкретному шарду:

// Пример простого алгоритма выбора шарда
public int getShardIndex(String userId, int totalShards) {
    return Math.abs(userId.hashCode() % totalShards);
}

// Пример использования
int shardId = getShardIndex("user_12345", 10);
String shardConnection = "mongo_shard_" + shardId;
MongoCollection<Document> collection = mongoShards.get(shardConnection);

Стратегии шардирования

1. Range-based sharding (Ранжевое) Данные разделяются по диапазонам значений ключа. Например, user_id от 0 до 1000 идет в шард 1, от 1001 до 2000 — в шард 2:

public int getShardByRange(int userId) {
    if (userId >= 0 && userId <= 1000) return 0;
    if (userId > 1000 && userId <= 2000) return 1;
    if (userId > 2000 && userId <= 3000) return 2;
    return -1; // ошибка
}

Преимущества: просто реализовать. Недостатки: неравномерное распределение нагрузки (горячие данные).

2. Hash-based sharding (Хеш-шардирование) Применяется хеш-функция к ключу шардирования, и результат определяет принадлежность к шарду:

public int getShardByHash(String userId, int totalShards) {
    return Math.abs(userId.hashCode() % totalShards);
}

Преимущества: равномерное распределение, масштабируемость. Недостатки: перебалансировка при добавлении шардов (перехеширование).

3. Directory-based sharding (Справочник) Используется таблица-справочник, которая хранит маппинг ключа шардирования на конкретный шард:

public class ShardingService {
    private Map<String, Integer> shardDirectory = new ConcurrentHashMap<>();
    
    public int getShardId(String userId) {
        return shardDirectory.getOrDefault(userId, -1);
    }
    
    public void addUserToShard(String userId, int shardId) {
        shardDirectory.put(userId, shardId);
    }
}

Преимущества: гибкость, простая перебалансировка. Недостатки: справочник может быть узким местом.

Проблемы шардирования

1. Перекрестные запросы между шардами Если нужно получить данные из нескольких шардов, придется делать multiple запросы и агрегировать результаты на приложении:

public List<User> getUsersByCity(String city, ShardingService sharding) {
    List<User> results = new ArrayList<>();
    
    // Нужно обойти все шарды
    for (int shardId = 0; shardId < totalShards; shardId++) {
        List<User> shardResults = 
            getUsersByCityFromShard(city, shardId);
        results.addAll(shardResults);
    }
    
    return results;
}

2. Горячие шарды Если один шард получает значительно больше трафика (например, все новые пользователи хешируются в один шард), это создает узкое место.

3. Нарушение ACID Транзакции, затрагивающие несколько шардов, сложны в реализации и требуют распределенных протоколов (двухфазный коммит).

4. Сложность администрирования Добавление или удаление шардов требует миграции данных и перебалансировки.

Практические примеры из NoSQL БД

MongoDB: использует хеш-шардирование с Shard Key. Документы распределяются по шардам на основе значения ключа шардирования.

Cassandra: использует consistent hashing для распределения данных по нодам. Каждый узел отвечает за диапазон хешей.

Redis Cluster: использует слоты (16384 слотов), и каждый слот принадлежит определенному узлу.

Когда использовать шардирование

• Объемы данных превышают возможности одного сервера
• Необходимо горизонтальное масштабирование
• Нет критических требований к распределенным транзакциям
• Система может справиться с усложнением логики приложения

Шардирование — это мощный инструмент, но используй его только когда это действительно необходимо, так как оно усложняет архитектуру системы и операции.