Что такое Apache Kafka?

Apache Kafka

Apache Kafka — это распределённая платформа потоковой обработки данных (streaming platform), используемая для построения конвейеров данных в реальном времени. Она предоставляет высокопроизводительную, масштабируемую и надёжную систему для публикации и подписки на потоки событий.

Основные концепции

Тема (Topic) — логический канал данных, в который производители (producers) отправляют сообщения, а потребители (consumers) их читают. Каждая тема разделена на разделы (partitions) для параллельной обработки.

Раздел (Partition) — подмножество записей темы, хранящееся на отдельном узле кластера. Это обеспечивает масштабируемость и отказоустойчивость.

Группа потребителей (Consumer Group) — набор потребителей, которые совместно обрабатывают сообщения из одной или нескольких тем. Каждый раздел обрабатывается ровно одним потребителем в группе.

Архитектура и особенности

Kafka состоит из несколько ключевых компонентов:

• Brokers — серверы, хранящие данные и обслуживающие клиентов
• ZooKeeper (или KRaft в новых версиях) — координация кластера
• Producers — отправляют сообщения
• Consumers — читают сообщения

Основные характеристики:

• Высокая пропускная способность — миллионы сообщений в секунду
• Низкая задержка — обработка в реальном времени
• Отказоустойчивость — репликация данных между узлами
• Долгосрочное хранение — сообщения сохраняются долго (настраивается)

Примеры использования с Python

Для работы с Kafka из Python используется библиотека kafka-python:

from kafka import KafkaProducer
import json

producer = KafkaProducer(
    bootstrap_servers=["localhost:9092"],
    value_serializer=lambda v: json.dumps(v).encode("utf-8")
)

message = {"user_id": 123, "action": "login", "timestamp": 1234567890}
future = producer.send("user-events", value=message)
record_metadata = future.get(timeout=10)

Потребитель:

from kafka import KafkaConsumer
import json

consumer = KafkaConsumer(
    "user-events",
    bootstrap_servers=["localhost:9092"],
    group_id="data-processing-group",
    value_deserializer=lambda m: json.loads(m.decode("utf-8")),
    auto_offset_reset="earliest"
)

for message in consumer:
    print(f"Получено: {message.value}")

Практическое применение

Kafka используется в:

• Микросервисной архитектуре — асинхронное общение между сервисами
• Аналитике — сбор и обработка большых потоков данных
• Логировании — централизованный сбор логов
• Реал-тайм мониторинге — обработка метрик в реальном времени

Kafka — промышленный стандарт для потоковых данных, обеспечивающий надёжность, масштабируемость и производительность при обработке больших объёмов информации.