Какие плюсы и минусы Kafka?

Плюсы и минусы Apache Kafka

Apache Kafka — распределённая система обмена сообщениями, спроектированная для обработки потоков данных в реальном времени. Она широко используется в микросервисных архитектурах и системах обработки больших объёмов данных.

Плюсы Kafka

1. Высокая пропускная способность

// Kafka может обрабатывать миллионы сообщений в секунду
Producer<String, String> producer = new KafkaProducer<>(props);
for (int i = 0; i < 1_000_000; i++) {
    producer.send(new ProducerRecord<>("topic", "key" + i, "value" + i));
}

Kafka оптимизирована для массовой обработки данных благодаря батчингу и асинхронной отправке.

2. Масштабируемость

• Горизонтальная масштабируемость через добавление брокеров
• Партиции распределяются между нодами
• Репликация данных для отказоустойчивости

3. Долгое хранение данных

// Сообщения сохраняются на диск, можно воспроизвести старые события
// retention.ms = 7 дней (по умолчанию)
Consumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.seekToBeginning(partitions); // Начитаем с начала

4. Надёжность

• Репликация между брокерами
• Ack=all обеспечивает идемпотентность
• Восстановление после сбоев

Properties props = new Properties();
props.put("acks", "all"); // Все реплики должны подтвердить
props.put("retries", Integer.MAX_VALUE);
props.put("enable.idempotence", true);

5. Разделение источника и потребителя

• Производители и потребители независимы
• Асинхронная обработка
• Развязка компонентов системы

6. Простая интеграция

• Kafka Connect для подключения внешних систем
• Большое сообщество
• Поддержка многих языков программирования

Минусы Kafka

1. Сложность эксплуатации

• Требует специальных знаний для настройки
• Сложная отладка в production
• ZooKeeper зависимость (в старых версиях)
• Мониторинг и логирование требуют инструментов

2. Высокие требования к ресурсам

// Kafka требует значительную памяти и дисковое пространство
// Минимум: 4GB RAM, SSD для логов

• Хранение всех сообщений на диске
• Репликация увеличивает использование пространства
• Требуется выделенный кластер

3. Дорогой в обслуживании

• Нужна команда DevOps/Platform Engineers
• Лицензирование (облачные решения)
• Мониторинг кластера 24/7

4. Не идеально для RPC-паттернов

// Kafka плохо подходит для синхронного request-response
// Нужны сложные паттерны correlation ID и временные очереди
producer.send(new ProducerRecord<>("request-topic", 
    new Request(correlationId, data)));
// Ждём ответа в reply-topic с тем же correlationId

5. Гарантии доставки

• At-most-once: сообщение может быть потеряно
• At-least-once: сообщение может быть обработано дважды
• Exactly-once: требует сложной настройки

// Гарантия at-least-once (по умолчанию)
props.put("acks", "all");

// Для exactly-once нужна идемпотентность на стороне обработчика
public void handleMessage(Message msg) {
    if (idempotencyStore.contains(msg.id())) return;
    process(msg);
    idempotencyStore.add(msg.id());
}

6. Задержка при малых объёмах

• Overhead на инициализацию
• Батчинг может увеличить latency
• Не подходит для систем реального времени < 100ms

7. Не для транзакций

// Kafka не обеспечивает ACID гарантии
// Если потребитель упадёт, нужно обрабатывать duplicates
Consumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.commitAsync(); // Может потеряться при крахе

Когда использовать Kafka

✅ Системы обработки потоков данных в реальном времени ✅ Event sourcing архитектуры ✅ Логирование и аудит ✅ Синхронизация между микросервисами

Когда выбрать альтернативы

❌ Маленькие проекты → RabbitMQ или ActiveMQ ❌ Простой message queue → Redis или AWS SQS ❌ Синхронный request-response → HTTP/gRPC ❌ Высокая задержка недопустима → очередь в памяти

Kafka — это мощный инструмент для event-driven архитектур, но её сложность требует тщательного анализа requirements перед внедрением.