Есть ли правило назначения партиций и брокеров

Правила назначения партиций и брокеров в Kafka

Когда мы создаём топик в Apache Kafka, система автоматически распределяет партиции между доступными брокерами в кластере. Это критически важный процесс для отказоустойчивости и масштабируемости системы.

Основной алгоритм распределения

Кафка использует round-robin алгоритм при распределении партиций:

// Пример: создаём топик с 6 партициями на кластере из 3 брокеров
// bin/kafka-topics.sh --create --topic my-topic \
//   --partitions 6 --replication-factor 2

// Партиции распределяются так:
// Партиция 0: лидер на брокере 0, реплика на брокере 1
// Партиция 1: лидер на брокере 1, реплика на брокере 2
// Партиция 2: лидер на брокере 2, реплика на брокере 0
// Партиция 3: лидер на брокере 0, реплика на брокере 1
// ... и так далее

Ключевые параметры

replication-factor — количество реплик каждой партиции. Значение должно быть ≤ количеству брокеров. Если у вас 3 брокера, максимум — replication-factor=3.

min.insync.replicas — минимальное количество реплик в синхронизированном состоянии. Обеспечивает гарантию надёжности доставки сообщений.

Пользовательские назначения (Custom Partition Assignment)

Вы можете явно указать, где размещать каждую партицию, используя JSON файл:

// assignment.json
{
  "version": 1,
  "partitions": [
    {"topic": "my-topic", "partition": 0, "replicas": [0, 1]},
    {"topic": "my-topic", "partition": 1, "replicas": [1, 2]},
    {"topic": "my-topic", "partition": 2, "replicas": [2, 0]}
  ]
}

Балансировка нагрузки

Когда брокер выходит из строя или добавляется новый — Kafka пересчитывает распределение:

• Лидеры партиций перемещаются для равномерной нагрузки
• Реплики восстанавливаются на живых брокерах
• Процесс контролируется через auto.leader.rebalance.enable

Java Producer API

При отправке сообщений можно явно выбирать партицию:

ProducerRecord<String, String> record = new ProducerRecord<>(
    "my-topic",
    2,  // явно указываем партицию 2
    "key",
    "value"
);
producer.send(record);

// Или через custom Partitioner
public class CustomPartitioner implements Partitioner {
    @Override
    public int partition(String topic, Object key, byte[] keyBytes,
                        Object value, byte[] valueBytes,
                        Cluster cluster) {
        // Вычисляем номер партиции на основе ключа
        return Math.abs(key.toString().hashCode()) % cluster.partitionsForTopic(topic).size();
    }
}

Лучшие практики

1. Выбирайте правильный replication-factor (обычно 2-3) в зависимости от требований к надёжности
2. Используйте хорошие ключи для сообщений — это определяет распределение нагрузки на партиции
3. Мониторьте дисбаланс — проверяйте размер партиций в системе
4. Плните ёмкость — убедитесь, что брокеры имеют достаточно дискового пространства и памяти
5. Тестируйте отказоустойчивость — имитируйте выход брокеров из строя

Правильное распределение партиций обеспечивает линейную масштабируемость и высокую доступность вашей системы обработки сообщений.