Что такое ZooKeeper в Kafka?

ZooKeeper в Kafka: Роль и Функции

Apache ZooKeeper играет фундаментальную роль в архитектуре Apache Kafka до версии 2.8.0, выступая как центральная система координации и управления состоянием кластера. Это распределенный сервис для предоставления таких услуг как конфигурация, синхронизация и название (naming) для распределенных систем.

Основные задачи ZooKeeper в Kafka

В контексте Kafka ZooKeeper выполняет несколько критически важных функций:

• Координация брокеров и контроллера кластера: ZooKeeper хранит информацию о всех брокерах Kafka (/brokers/ids/[id]), их состоянии (живой/неживой), и выбирает одного брокера в качестве Controller. Controller — это специальный брокер, отвечающий за управление изменениями метаданных кластера (например, создание/удаление топиков, управление лидерами партиций).

  // Пример данных брокера в ZooKeeper
  {
    "listener_security_protocol_map": {"PLAINTEXT": "PLAINTEXT"},
    "endpoints": ["PLAINTEXT://broker1:9092"],
    "jmx_port": -1,
    "host": "broker1",
    "timestamp": "1648734567890",
    "port": 9092,
    "version": 4
  }
  

• Управление метаданными топиков и партиций: ZooKeeper хранит список всех топиков (/brokers/topics/[topic-name]) и информацию о том, какие партиции принадлежат каждому топику, сколько у них реплик, и где расположены лидеры (/brokers/topics/[topic-name]/partitions/[partition-id]/state). Это позволяет потребителям (consumers) и продюсерам (producers) находить нужные брокеры для чтения/записи.

• Координация Consumer Groups: Для потребителей, использующих механизм group offset management, ZooKeeper (или, в более новых версиях, внутренний топик __consumer_offsets) хранит информацию о принадлежности потребителей к группам (/consumers/[group-id]/ids/[consumer-id]) и коммитах смещений (offsets). Это позволяет группам потребителей балансировать нагрузку между партициями и восстанавливаться после сбоев.

  # Пример структуры ZNode для consumer group (старый способ)
  /consumers/my-group/ids/consumer-1 -> {"subscription": {"topic1": 1}, "pattern": "static"}
  

• Механизм обнаружения и восстановления: ZooKeeper используется для отслеживания "живых" брокеров через эпизодические узлы (Ephemeral Nodes). Если брокер отключается, его ZNode удаляется, и Controller получает уведомление через watch-механизм, запуская процесс перевыбора лидера (leader election) для партиций, лидер которых находился на этом брокере. Это обеспечивает высокую доступность кластера.

Пример работы механизма Controller Election

1. Все брокеры при запуске создают эпизодический ZNode в /controller.
2. Первый брокер, создавший ZNode, становится активным Controller, записывая свою информацию в этот узел.
3. Все остальные брокеры устанавливают watch (наблюдение) на этот ZNode.
4. Если активный Controller падает, его ZNode удаляется (так как он эпизодический).
5. Watch-событие триггерует новую попытку создания ZNode среди остальных брокеров, и следующий успешный брокер становится новым Controller.

Архитектурные изменения в современных версиях Kafka

С версии Kafka 2.8.0 и выше, Kafka постепенно уходит от зависимости от ZooKeeper благодаря проекту Kafka Raft Metadata (KRaft). В этой новой архитектуре метаданные кластера управляются самими брокерами Kafka через Raft-протокол, выделенный набор которых формирует контроллерный кваорум. Это устраняет необходимость в отдельном ZooKeeper кластере, значительно упрощая развертывание, повышая производительность и снижая операционные сложности.

Краткое резюме

Таким образом, ZooKeeper в традиционной архитектуре Kafka был центральным мозгом, отвечающим за:

• Координацию брокеров и выбор Controller.
• Хранение метаданных кластера (брокеры, топики, партиции).
• Обеспечение согласованности и восстановления после сбоев.
• Поддержку механизмов потребительских групп (в старых версиях).

Переход на KRaft-модель является важным шагом в эволюции Kafka к полностью самодостаточной распределенной системе. Однако понимание роли ZooKeeper остается ключевым для работы с кластерами версий ниже 2.8.0 и для глубокого понимания внутренней механики Kafka.