Как распределяются партиции

Распределение партиций в Apache Kafka

Партиции — это основная единица параллелизма в Kafka. Каждая тема разделяется на несколько партиций, и правильное распределение партиций между брокерами — критически важно для масштабируемости и отказоустойчивости системы.

Как работает распределение партиций

Когда вы создаёте тему, Kafka распределяет её партиции по брокерам кластера:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);

// Отправляем сообщение в партицию
ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value");
producer.send(record);
producer.close();

Алгоритм распределения (Round-Robin)

Когда вы создаёте тему с N партициями и M брокерами:

1. Round-Robin распределение — Kafka циклически распределяет партиции по брокерам
2. Если N=3 партиции и M=3 брокера, каждый получит по одной партиции
3. Если N=6 партиций и M=3 брокера, каждый получит по две партиции
4. Для высокой доступности каждая партиция имеет реплики, распределённые по разным брокерам

// Создание темы программно (AdminClient)
AdminClient admin = AdminClient.create(props);
NewTopic topic = new NewTopic(
  "my-topic",
  3,  // количество партиций
  (short) 2  // фактор репликации
);
CreateTopicsResult result = admin.createTopics(Collections.singleton(topic));
result.all().get();
admin.close();

Ключевые концепции

Лидер и реплики: Для каждой партиции выбирается один брокер-лидер, который обрабатывает все чтения и записи. Остальные брокеры — синхронные или асинхронные реплики для восстановления при сбое.

Балансировка нагрузки: Лидеры партиций распределяются так, чтобы нагрузка была равномерной. Если брокер падает, контроллер переизбирает нового лидера.

Потребители и партиции: Количество потребителей в группе должно быть ≤ количеству партиций для эффективной параллельной обработки:

Properties consumerProps = new Properties();
consumerProps.put("bootstrap.servers", "localhost:9092");
consumerProps.put("group.id", "my-group");
consumerProps.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
consumerProps.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(consumerProps);
consumer.subscribe(Collections.singletonList("my-topic"));

while (true) {
  ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
  for (ConsumerRecord<String, String> record : records) {
    System.out.println("Partition: " + record.partition() + 
                       " Offset: " + record.offset() + 
                       " Value: " + record.value());
  }
}

Факторы, влияющие на распределение

• Количество партиций: больше партиций = больше параллелизма, но больше памяти и ресурсов на брокере
• Фактор репликации: обычно 2-3 для production (баланс между надёжностью и ресурсами)
• Стойка (rack): Kafka может распределять реплики по разным стойкам для отказоустойчивости
• Пользовательский ключ: при отправке сообщений через producer, ключ определяет, в какую партицию попадёт сообщение

Правильное распределение партиций — это основа для построения масштабируемых и отказоустойчивых систем обработки потоков данных.