С какими проблемами можно столкнуться при работе Apache Kafka в Kubernetes

Проблемы Apache Kafka в Kubernetes

Комбинация Kafka + K8s может быть подлой. За годы работы я встретил десятки ловушек. Разберу самые опасные из них и как их избежать.

1. Проблемы с Network и DNS

Проблема: Broker не доступен из-за DNS

Кafka внутри K8s использует StatefulSet, и каждый broker имеет уникальный hostname. Если DNS не разрешается или меняется, клиенты не могут подключиться.

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: kafka-broker
spec:
  serviceName: kafka-service
  replicas: 3
  selector:
    matchLabels:
      app: kafka
  template:
    metadata:
      labels:
        app: kafka
    spec:
      containers:
      - name: kafka
        image: confluentinc/cp-kafka:7.5.0
        env:
        - name: KAFKA_BROKER_ID
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: KAFKA_ADVERTISED_LISTENERS
          value: "PLAINTEXT://$(POD_NAME).kafka-service.default.svc.cluster.local:9092"

Решение:

• Используйте headless service (clusterIP: None)
• Используйте StatefulSet, не Deployment
• Проверяйте DNS доступность

2. Проблемы с Persistence и хранилищем

Проблема: Pod перезагружается и теряет данные

По умолчанию Kafka хранит данные в контейнере. При перезагрузке пода теряются все сообщения.

spec:
  containers:
  - name: kafka
    volumeMounts:
    - name: kafka-data
      mountPath: /var/lib/kafka/data
  volumeClaimTemplates:
  - metadata:
      name: kafka-data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: fast-ssd
      resources:
        requests:
          storage: 100Gi

Решение:

• Используйте PersistentVolumeClaim для каждого broker
• Выбирайте SSD storage (NVMe если возможно)
• Регулярно проверяйте disk usage

3. Проблемы с памятью и CPU

Проблема: OutOfMemory kill pod'а

Kafka очень требовательна к памяти.

spec:
  containers:
  - name: kafka
    resources:
      requests:
        memory: "8Gi"
        cpu: "2"
      limits:
        memory: "12Gi"
        cpu: "4"
    env:
    - name: KAFKA_HEAP_OPTS
      value: "-Xms4G -Xmx8G"

Решение:

• Минимум 8GB RAM на broker
• Heap = 50% от container memory
• Monitor OOMKill events

4. Проблемы с Leader Election и ZooKeeper

Проблема: ZooKeeper нестабильный

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: zookeeper
spec:
  replicas: 3
  serviceName: zookeeper-service
  template:
    spec:
      containers:
      - name: zookeeper
        env:
        - name: ZOO_CFG_EXTRA
          value: "server.1=zookeeper-0.zookeeper-service:2888:3888 server.2=zookeeper-1.zookeeper-service:2888:3888 server.3=zookeeper-2.zookeeper-service:2888:3888"

Решение:

• Запустите минимум 3 ZooKeeper pod'а
• Используйте PersistentVolumes для ZK
• Проверяйте логи ZK на ошибки кворума

5. Проблемы с лидерством и перебалансировкой

Проблема: Leader election занимает часы

Если broker падает, Kafka переназначает лидеров. Это может занять долго.

replica.lag.time.max.ms=10000
connections.max.idle.ms=9000
zookeeper.session.timeout.ms=9000
unclean.leader.election.enable=false

Решение:

• Настройте timeout'ы для быстрого обнаружения сбоев
• Никогда не выбирайте неполные replica's

6. Проблемы с масштабированием

Проблема: Adding new broker fails

Когда добавляете новый broker, он может остаться в Pending из-за отсутствия PersistentVolume.

kubectl scale statefulset kafka-broker --replicas=4
kubectl get pvc  # Проверить что PVC bound

Решение:

• Убедиться что есть свободный PersistentVolume
• Использовать динамический provisioner

7. Проблемы с мониторингом

Проблема: нет видимости в систему

kafka-consumer-groups --bootstrap-server kafka:9092 --group my_group --describe
kafka-topics --bootstrap-server kafka:9092 --describe --under-replicated-partitions

8. Проблемы с безопасностью

Проблема: нет аутентификации

env:
- name: KAFKA_ADVERTISED_LISTENERS
  value: "SASL_PLAINTEXT://kafka:9092"
- name: KAFKA_SECURITY_INTER_BROKER_PROTOCOL
  value: "SASL_PLAINTEXT"
- name: KAFKA_SASL_MECHANISM_INTER_BROKER_PROTOCOL
  value: "SCRAM-SHA-256"

Решение:

• Используйте SASL аутентификацию
• Настройте NetworkPolicy для ограничения доступа

Чеклист

• StatefulSet с 3+ replicas
• Headless Service
• PersistentVolumeClaim для каждого broker
• SSD storage class
• Memory requests 8GB+ с limits
• JVM heap size = 50% container memory
• ZooKeeper 3+ replicas
• Monitoring и alerting
• SASL аутентификация
• NetworkPolicy
• Graceful shutdown

Заключение

Kafka в K8s требует внимания к networking, storage, resources, orchestration, monitoring и security. Лучше использовать Strimzi operator для автоматизации управления.