При кластере Kafka из 3 брокеров, какое максимальное количество реплик мы можем создать для одного топика

Максимальное количество реплик в Kafka кластере

Ответ: максимум 3 реплики для кластера из 3 брокеров.

Правило репликации в Kafka

Максимальное количество реплик топика не может превышать количество брокеров в кластере. Если у вас есть N брокеров, максимальный replication factor составляет N.

В вашем случае:

• Кластер: 3 брокера
• Максимальный replication factor: 3

Почему это правило существует

// Пример при создании топика с 3 брокерами:
Kafka Topic:
  Partitions: 3
  Replication Factor: 3

Broker 1: Leader (Partition 1), Replica (Partition 2), Replica (Partition 3)
Broker 2: Replica (Partition 1), Leader (Partition 2), Replica (Partition 3)
Broker 3: Replica (Partition 1), Replica (Partition 2), Leader (Partition 3)

Каждая реплика раздела должна находиться на отдельном брокере. Это обеспечивает:

• Отказоустойчивость — если один брокер упадёт, есть ещё реплики
• Балансировку нагрузки — каждый брокер содержит копии разных разделов
• Избыточность — данные дублируются на разных машинах

Практические рекомендации

1. Оптимальный replication factor

# Создание топика с максимальной репликацией
kafka-topics --create \
  --topic my-topic \
  --partitions 3 \
  --replication-factor 3 \
  --bootstrap-server localhost:9092

2. Рекомендации в зависимости от критичности

• Production (критичные данные): replication-factor = 3
• Staging/Development: replication-factor = 2
• Dev окружение: replication-factor = 1

3. ISR (In-Sync Replicas)

// Kafka гарантирует, что при replication-factor = 3
// данные будут скопированы на минимум 2 брокера (ISR)
// перед подтверждением отправки

Properties props = new Properties();
props.put("acks", "all");  // Ждём подтверждения от всех ISR
props.put("retries", 3);
props.put("compression.type", "snappy");

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

Расчёт для разных размеров кластера

Проверка текущей конфигурации

# Описание топика
kafka-topics --describe \
  --topic my-topic \
  --bootstrap-server localhost:9092

# Вывод показывает факторы репликации для каждого раздела
Topic: my-topic
  PartitionCount: 3
  ReplicationFactor: 3
  Isr: [1, 2, 3]  # In-Sync Replicas

Последствия попытки создать топик с превышением лимита

# Попытка создать топик с 4 репликами при 3 брокерах
kafka-topics --create \
  --topic invalid-topic \
  --replication-factor 4 \
  --bootstrap-server localhost:9092

# Ошибка:
# org.apache.kafka.common.errors.InvalidTopicException:
# Replication factor (4) is larger than available brokers (3)

Влияние на производительность

Высокий replication factor означает:

• Плюсы: больше отказоустойчивость, лучше для критичных данных
• Минусы: больше дисковых I/O операций, большее использование сети, медленнее репликация

Для вашей задачи с 3 брокерами оптимально использовать replication-factor = 3 для критичных топиков, чтобы гарантировать полную отказоустойчивость кластера.