Из чего состоит Kafka?

Архитектура Apache Kafka

Apache Kafka — это распределённая система потоковой обработки событий, состоящая из нескольких ключевых компонентов, работающих совместно. Рассмотрим её структуру детально.

Основные компоненты Kafka

1. Брокер (Broker)

Это основной сервер Kafka, который хранит данные и обрабатывает запросы. Кластер Kafka состоит из одного или нескольких брокеров, что обеспечивает отказоустойчивость и горизонтальное масштабирование.

// Пример конфигурации брокера в server.properties
broker.id=1
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-logs
num.partitions=3

2. Топик (Topic)

Логическая категория или канал, куда публикуются сообщения. Топики разделяются на партиции (partitions) для параллельной обработки.

// Создание топика через AdminClient в C#
var config = new AdminClientConfig { BootstrapServers = "localhost:9092" };
using var admin = new AdminClientBuilder(config).Build();
await admin.CreateTopicsAsync(new[] {
    new TopicSpecification {
        Name = "orders",
        NumPartitions = 3,
        ReplicationFactor = 2
    }
});

3. Партиция (Partition)

Партиция — это упорядоченная, неизменяемая последовательность сообщений в топике. Каждое сообщение в партиции имеет уникальный оффсет (offset) — порядковый номер.

4. Репликация (Replication)

Каждая партиция имеет несколько реплик для обеспечения отказоустойчивости:

• Лидер (Leader) — обрабатывает все операции чтения/записи
• Последователи (Followers) — реплицируют данные с лидера

5. ZooKeeper (до Kafka 3.x) / KRaft (Kafka Raft)

Координационный сервис для управления кластером:

• Отслеживание состояния брокеров
• Выбор лидера для партиций
• Хранение конфигурации топиков
• В новых версиях Kafka использует встроенный консенсусный протокол KRaft

Клиентские компоненты

6. Продюсер (Producer)

Приложение, публикующее сообщения в топики Kafka.

// Пример продюсера на C# (Confluent.Kafka)
var config = new ProducerConfig { 
    BootstrapServers = "localhost:9092" 
};

using var producer = new ProducerBuilder<Null, string>(config).Build();
await producer.ProduceAsync("orders", new Message<Null, string> {
    Value = "Новый заказ #12345"
});

7. Консьюмер (Consumer)

Приложение, читающее сообщения из топиков. Консьюмеры объединяются в группы (Consumer Groups) для распределения нагрузки.

// Пример консьюмера на C#
var config = new ConsumerConfig {
    BootstrapServers = "localhost:9092",
    GroupId = "order-processors",
    AutoOffsetReset = AutoOffsetReset.Earliest
};

using var consumer = new ConsumerBuilder<Ignore, string>(config).Build();
consumer.Subscribe("orders");

while (true) {
    var result = consumer.Consume();
    Console.WriteLine($"Обработка: {result.Message.Value}");
}

Вспомогательные компоненты

8. Connectors и Kafka Connect

Фреймворк для интеграции с внешними системами:

• Source Connectors — импорт данных в Kafka
• Sink Connectors — экспорт данных из Kafka

9. Kafka Streams и ksqlDB

Библиотеки для потоковой обработки данных:

• Kafka Streams — Java-библиотека для обработки
• ksqlDB — SQL-интерфейс для работы с потоками

10. Schema Registry

Хранилище схем данных (обычно Avro, Protobuf, JSON Schema) для обеспечения совместимости форматов сообщений.

Ключевые концепции

• Ретеншн (Retention) — политика хранения сообщений (по времени или размеру)
• Коммит оффсета (Offset Commit) — механизм отслеживания обработанных сообщений
• Exactly-once семантика — гарантия однократной обработки сообщений
• Репликационный фактор (Replication Factor) — количество копий каждой партиции

Физическая организация данных

Брокер 1:                        Брокер 2:
- Топик A, Партиция 0 (Leader)   - Топик A, Партиция 0 (Follower)
- Топик B, Партиция 1 (Follower) - Топик B, Партиция 1 (Leader)
- Топик C, Партиция 2 (Leader)   - Топик C, Партиция 2 (Follower)

Резюме

Архитектура Kafka представляет собой высокопроизводительный, отказоустойчивый, горизонтально масшитабируемый pipeline для потоковой передачи данных. Все компоненты работают согласованно, обеспечивая:

• Высокую пропускную способность (миллионы сообщений в секунду)
• Низкую задержку
• Гарантии доставки сообщений
• Горизонтальное масштабирование без простоя

Понимание этих компонентов критически важно для проектирования надежных event-driven архитектур и эффективной эксплуатации Kafka в production-среде.