Как собирает данные Kafka?

Принцип сбора данных в Apache Kafka

Apache Kafka — это распределенная система потоковой передачи событий (event streaming platform), которая собирает, хранит и обрабатывает потоки данных в реальном времени. Сбор данных в Kafka основан на модели публикация-подписка (pub/sub) и принципах устойчивого журналирования (durable log).

Основные механизмы сбора данных

1. Роль продюсеров (Producers)

Продюсеры — это клиентские приложения, которые публикуют (пишут) данные в Kafka. Они отвечают за инициирование потока данных. Сбор происходит следующим образом:

// Пример конфигурации продюсера на Java
Properties props = new Properties();
props.put("bootstrap.servers", "kafka1:9092,kafka2:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);

// Отправка данных в топик "user-events"
ProducerRecord<String, String> record = 
    new ProducerRecord<>("user-events", "user123", "{\"action\": \"login\", \"timestamp\": \"2024-01-15T10:30:00Z\"}");
producer.send(record);

Ключевые аспекты работы продюсеров:

• Подключение к брокерам через bootstrap servers
• Сериализация данных в байтовый формат
• Партиционирование — решение, в какую партицию топика писать данные
• Надежная доставка с различными уровнями подтверждения (acks=0,1,all)
• Балансировка нагрузки между партициями

2. Организация данных в топиках и партициях

Kafka организует данные в топики (topics), которые делятся на партиции (partitions):

Топик: "website-clicks"
├── Партиция 0 (лид-реплика на брокере 1)
├── Партиция 1 (лид-реплика на брокере 2)
└── Партиция 2 (лид-реплика на брокере 3)

Каждая партиция представляет собой упорядоченную, неизменяемую последовательность записей, хранящуюся в виде журнала. Новые записи добавляются только в конец.

3. Стратегии сбора данных от продюсеров

Основные подходы:

• Прямая отправка — приложение самостоятельно отправляет события в Kafka
• Коннекторы Kafka Connect — готовые компоненты для интеграции с внешними системами
• Прокси-слои — использование REST Proxy или других интерфейсов

# Пример использования Kafka Connect для сбора данных из MySQL
{
  "name": "mysql-source-connector",
  "config": {
    "connector.class": "io.debezium.connector.mysql.MySqlConnector",
    "database.hostname": "mysql-host",
    "database.port": "3306",
    "database.user": "kafka_user",
    "database.password": "secret",
    "database.server.id": "184054",
    "database.server.name": "dbserver1",
    "table.whitelist": "inventory.orders",
    "database.history.kafka.topic": "schema-changes.inventory"
  }
}

Технические особенности сбора данных

1. Гарантии доставки

Kafka предоставляет различные уровни гарантий:

• At most once — сообщения могут быть потеряны
• At least once — сообщения не теряются, но могут дублироваться
• Exactly once — идиоматическая доставка без потерь и дублей

2. Батчинг и компрессия

Для оптимизации производительности Kafka использует:

• Батчинг записей — группировка сообщений перед отправкой
• Компрессию данных (gzip, snappy, lz4, zstd)
• Буферизацию на стороне продюсера

// Настройка батчинга и компрессии
props.put("batch.size", 16384); // Размер батча в байтах
props.put("linger.ms", 5); // Максимальное время ожидания формирования батча
props.put("compression.type", "snappy"); // Тип компрессии

3. Схемы данных и Schema Registry

Для обеспечения совместимости данных часто используется Schema Registry:

Данные приложения → Avro/Protobuf/JSON схема → Schema Registry → Сериализованные данные → Kafka

Архитектурные паттерны сбора данных

1. Паттерн "Транзакционный выход"

Сбор данных как результат бизнес-транзакций:

Приложение → Бизнес-логика → Запись в БД → Отправка события в Kafka

2. Паттерн "CDC" (Change Data Capture)

Сбор изменений данных из баз данных:

База данных → Дебезиум/CDC инструмент → Kafka топик

3. Паттерн "Агент-коллектор"

Сбор данных через легковесные агенты:

Логи приложений → Filebeat/Fluentd агент → Kafka

Мониторинг и управление сбором данных

Критические метрики:

• Пропускная способность (throughput) продюсеров
• Задержка (latency) отправки сообщений
• Размер очереди отправки
• Частота ошибок и ретраев

Инструменты мониторинга:

• JMX метрики Kafka
• Prometheus + Grafana
• Специализированные решения (Confluent Control Center)

Преимущества подхода Kafka к сбору данных

1. Высокая пропускная способность — миллионы сообщений в секунду
2. Горизонтальная масштабируемость — добавление брокеров и партиций
3. Отказоустойчивость — репликация данных между брокерами
4. Сохранение порядка сообщений в пределах партиции
5. Поддержка backpressure — продюсеры адаптируются к нагрузке брокеров

Типичные сценарии использования

• Сбор телеметрии и метрик с распределенных систем
• Агрегация логов приложений и систем
• Потоковая ETL обработка данных
• Микросервисная коммуникация через события
• Обработка кликов и действий пользователей в веб-приложениях

Сбор данных в Kafka — это фундаментальный процесс, который обеспечивает надежную, масштабируемую и отказоустойчивую инфраструктуру для обработки потоковых данных в современных распределенных системах.