Что такое топик в Kafka?

Что такое топик в Apache Kafka?

Топик (Topic) — это фундаментальная концепция в Apache Kafka, представляющая собой именованный канал или категорию, в которую публикуются и из которой потребляются потоки данных (сообщения). Это основная абстракция для организации данных в Kafka, аналогичная таблице в базе данных или папке в файловой системе. Все сообщения в Kafka всегда записываются и читаются из топиков.

Ключевые характеристики и устройство топика

• Логическая группировка сообщений: Топики служат для логической организации данных по определённой тематике или типу событий. Например, в системе электронной коммерции могут существовать топики user-registrations, order-events, payment-transactions и inventory-updates.

• Неизменяемость записей (Log): Внутренне каждый топик реализован как упорядоченный, неизменяемый журнал записей (commit log). Сообщения, однажды записанные в топик, не могут быть изменены или удалены (в рамках обычных операций). Каждому сообщению в партиции присваивается последовательный идентификатор — смещение (offset), которое гарантирует порядок.

• Партиционирование (Partitioning): Для обеспечения масштабируемости и параллелизма каждый топик делится на одну или более партиций (Partitions).

    *   **Масштабируемость**: Партиции распределяются между серверами (brokers) кластера Kafka, позволяя топику использовать ресурсы всего кластера и превосходить пределы производительности одного сервера.
    *   **Параллелизм**: Потребители (Consumers) могут читать данные из разных партиций параллельно, входя в состав **группы потребителей (Consumer Group)**.
    *   **Ключ сообщения (Key)**: Производитель (Producer) может указать ключ для сообщения (например, ID пользователя). Kafka использует хеш ключа для детерминированного определения партиции, в которую будет записано сообщение. Это гарантирует, что **все сообщения с одним ключом попадут в одну и ту же партицию**, сохраняя порядок для записей, связанных с этой сущностью.

• Репликация (Replication): Для обеспечения отказоустойчивости и доступности данных каждая партиция топика реплицируется на несколько брокеров. Одна из реплик является лидером (Leader), она обрабатывает все операции чтения и записи. Остальные реплики — последователи (Followers) — синхронно или асинхронно копируют данные с лидера. Если лидер выходит из строя, одна из реплик-последователей автоматически становится новым лидером.

Пример создания и работы с топиком

Рассмотрим на примере с использованием административного CLI Kafka и .NET (Confluent.Kafka).

1. Создание топика (CLI):

# Создание топика 'orders' с 3 партициями и коэффициентом репликации 2
bin/kafka-topics.sh --create --topic orders --bootstrap-server localhost:9092 --partitions 3 --replication-factor 2

2. Публикация сообщения в топик (C# Producer):

using Confluent.Kafka;

var config = new ProducerConfig { BootstrapServers = "localhost:9092" };

using var producer = new ProducerBuilder<string, string>(config).Build();

// Отправка сообщения. Ключ "user123" определит целевую партицию.
var message = new Message<string, string>
{
    Key = "user123",
    Value = "{\"orderId\": 456, \"amount\": 99.99}"
};

var deliveryReport = await producer.ProduceAsync("orders", message);
Console.WriteLine($"Доставлено в партицию: {deliveryReport.Partition}, offset: {deliveryReport.Offset}");

3. Потребление сообщений из топика (C# Consumer):

var consumerConfig = new ConsumerConfig
{
    BootstrapServers = "localhost:9092",
    GroupId = "order-processor-group", // Группа потребителей
    AutoOffsetReset = AutoOffsetReset.Earliest
};

using var consumer = new ConsumerBuilder<string, string>(consumerConfig).Build();
consumer.Subscribe("orders"); // Подписка на топик

try
{
    while (true)
    {
        // Чтение следующего сообщения из любой партиции этого топика
        var cr = consumer.Consume();
        Console.WriteLine($"Получено из партиции {cr.Partition}, offset {cr.Offset}: {cr.Message.Key} -> {cr.Message.Value}");
        // Обработка сообщения...
    }
}
catch (OperationCanceledException)
{
    consumer.Close();
}

Важные аспекты и политики

• Сохранение данных (Retention Policy): Сообщения в топике хранятся не вечно, а в соответствии с политикой хранения. Данные могут удаляться по истечении заданного времени (например, 7 дней) или при достижении топиком определённого размера. Это отличает Kafka от классических брокеров сообщений и делает его системой, хранящей состояние.
• Компактизация (Compaction): Для топиков, где важно последнее значение для каждого ключа (например, user-profile-updates), можно включить политику логической компактизации (Log Compaction). Kafka будет периодически удалять устаревшие записи с одним ключом, оставляя только самую последнюю. Это позволяет использовать топик как своеобразное хранилище «ключ-значение».
• Идемпотентные производители и транзакции: Kafka поддерживает идемпотентность производителей (гарантия однократной записи в партицию) и распределённые транзакции для атомарной публикации в несколько топиков/партиций, что критично для финансовых операций и соблюдения порядка.

Итог

Топик в Kafka — это не просто очередь сообщений. Это устойчивый, распределённый, отказоустойчивый и масштабируемый журнал упорядоченных событий, который является краеугольным камнем архитектуры, ориентированной на события (Event-Driven Architecture). Его дизайн, основанный на партиционировании и репликации, делает Kafka одним из самых производительных и надёжных систем для обработки потоков данных в реальном времени.