Что такое топик в Kafka?

Что такое топик (Topic) в Apache Kafka?

Топик — это фундаментальная концепция в Apache Kafka, представляющая собой именованный канал или категорию, в которую публикуются потоки данных. Если представить Kafka как систему распределённого журналирования (commit log), то топик — это отдельный, изолированный журнал, хранящий записи в строго упорядоченной последовательности. Это центральная абстракция, вокруг которой строится вся архитектура обмена сообщениями в Kafka.

Ключевые характеристики топика

• Именование: Каждый топик имеет уникальное имя (например, user-registrations, payment-transactions, application-logs), которое используется производителями (producers) и потребителями (consumers) для отправки и получения данных.
• Неизменяемая последовательность записей (records): Данные в топик записываются в порядке их поступления (в пределах партиции) и после записи не могут быть изменены или удалены (в обычном режиме). Каждая запись имеет смещение (offset) — уникальный, последовательно возрастающий идентификатор внутри партиции.
• Хранение: Топики логически представляют собой единый поток, но физически их данные сегментированы и распределены для обеспечения масштабируемости и параллелизма.
• Семантика хранения: Данные в топике хранятся в течение заданного времени (например, 7 дней) или до достижения определённого объёма. Устаревшие записи автоматически удаляются. Это отличает Kafka от традиционных брокеров сообщений, где сообщение удаляется после доставки.

Партиционирование и репликация

Ключевой механизм, обеспечивающий производительность и отказоустойчивость топиков.

Партиционирование

Топик делится на одну или несколько партиций. Это аналогично шардированию в базах данных.

// Пример конфигурации продюсера для отправки сообщения в конкретную партицию
$producer = new RdKafka\Producer();
$producer->addBrokers("kafka-broker:9092");

$topic = $producer->newTopic("my-topic");

// Ключ сообщения (key) используется для определения партиции (если не указан, используется round-robin)
$key = "user-id-12345"; // Все сообщения с этим ключом попадут в одну и ту же партицию
$messagePayload = json_encode(['event' => 'login', 'timestamp' => time()]);

// Отправка сообщения. Партиция будет вычислена на основе хеша ключа.
$topic->produce(RD_KAFKA_PARTITION_UA, 0, $messagePayload, $key);

• Каждая партиция — это упорядоченный, неизменяемый последовательный журнал.
• Порядок гарантирован только в пределах одной партиции. Между партициями одного топика порядок не гарантируется.
• Партиции позволяют масштабировать пропускную способность топика — разные партиции могут обслуживаться разными брокерами в кластере.
• Ключ сообщения (key) определяет, в какую партицию оно попадёт (по умолчанию через хеширование). Сообщения с одним ключом всегда направляются в одну и ту же партицию, что важно для семантики упорядочивания.

Репликация

Каждая партиция топика реплицируется (типично 3 раза) на несколько брокеров Kafka.

• Одна реплика является лидером (leader) и обрабатывает все операции чтения/записи.
• Остальные реплики — последователи (followers), они асинхронно или синхронно (в зависимости от настроек) копируют данные с лидера.
• При отказе брокера-лидера один из последователей автоматически становится новым лидером, обеспечивая высокую доступность.

Роль топика в архитектуре данных

1. Разделение ответственности: Разные типы событий (логи, метрики, бизнес-события) изолируются в разные топики.
2. Масштабирование потребителей: Группа потребителей (consumer group) может параллельно читать из нескольких партиций одного топика. Каждая партиция в данный момент времени читается только одним потребителем из группы, что позволяет горизонтально масштабировать обработку.

   // Пример конфигурации консьюмера, который будет частью группы "my-app-group"
   $conf = new RdKafka\Conf();
   $conf->set('group.id', 'my-app-group'); // Идентификатор группы потребителей
   $conf->set('auto.offset.reset', 'earliest');
   
   $consumer = new RdKafka\KafkaConsumer($conf);
   $consumer->subscribe(['my-topic']); // Подписка на топик
   
   while (true) {
       $message = $consumer->consume(120*1000);
       // Kafka автоматически распределит партиции топика между консьюмерами в группе
       echo "Получено сообщение из партиции {$message->partition}: {$message->payload}\n";
   }
   

3. Хранение истории: Топик выступает в роли источника истины (source of truth), сохраняя всю историю сообщений. Новые потребители могут прочитать данные с самого начала (offset = 0).
4. Связующее звено: Топики декoupling'ят продюсеров и консьюмеров. Продюсер не знает, кто и как обрабатывает его данные, а консьюмер может начать читать данные в любое время.

Практическое использование в Backend-разработке на PHP

• Асинхронная обработка задач: Помещение тяжёлых задач (отправка email, генерация отчётов) в топик background-jobs.
• Сбор и анализ логов: Все микросервисы пишут логи в топик app-logs, откуда их потребляет система мониторинга (например, ELK-стек).
• Распространение событий предметной области (Domain Events): При изменении состояния сущности Order в топик order-events публикуется событие OrderStatusChanged, на которое могут реагировать другие сервисы (склад, нотификации, аналитика).
• Стриминг данных в реальном времени: Топик user-actions для отслеживания кликов и поведения пользователя с последующей обработкой в фреймворке вроде Apache Flink.

Итог: Топик в Kafka — это не просто очередь сообщений, а устойчивый, распределённый, партиционированный и реплицированный журнал событий. Его правильное проектирование (выбор количества партиций, ключа сообщения, политики очистки) является краеугольным камнем для построения эффективных, отказоустойчивых и масштабируемых потоковых данных в современной backend-архитектуре.