К какому типу модели относится Kafka

К какому типу модели относится Kafka

Kafka не относится ни к одной одной модели, а комбинирует различные паттерны в зависимости от использования. Однако, если говорить о основной классификации, то Kafka имеет следующие характеристики.

Классификация Kafka по моделям

1. Основная модель: Publish-Subscribe (Pub-Sub)

Kafka прежде всего реализует Publish-Subscribe модель, где:

• Publishers (producers) публикуют события в Topics
• Несколько Subscribers (consumers) могут подписаться на один Topic
• Каждый subscriber получает полную копию сообщения
• Нет прямого знания о существовании друг друга

2. Вторичная модель: Queue (очередь)

Хотя Kafka наследует от Pub-Sub, она может использоваться как Queue/Point-to-Point:

• Когда все producers пишут в один Topic
• А один Consumer Group их читает
• Это работает как очередь
• Только 1 consumer обработает каждое сообщение

3. Tertiary модель: Event Log / Event Streaming

Kafka изначально разработана как Event Streaming Platform, где:

• Является единым источником истины для всех событий
• События персистентно хранятся на диск
• События никогда не удаляются (только по retention policy)
• Можно переиграть историю (replay)
• Временная последовательность важна

Детальное объяснение каждой модели

Pub-Sub модель в Kafka

Преимущества:

• Один publisher может обслуживать много subscribers
• Subscribers не знают друг о друге
• Легко добавить новый subscriber
• Разделение ответственности

Пример:

Order Service (Publisher) publishes: order.created
  к Topic: order-events

Subscribers:
- Email Service (Sends thank you)
- Billing System (Charges user)
- Notification Service (Sends SMS)
- Analytics (Aggregates)

Каждый subscriber получает полное сообщение event.

Queue модель в Kafka

Преимущества:

• Каждое сообщение обрабатывается только один раз
• Распределение нагрузки между workers
• Очередь заданий

Пример:

Task Publisher (Adds tasks)
  к Topic: tasks
  с Consumer Group: task-workers

Workers W1, W2, W3, W4, W5
- Только один worker обработает task_1
- Нагрузка распределяется

Event Streaming модель в Kafka

Преимущества:

• История всех событий
• Аудит и compliance
• Воспроизведение для recovery
• Stream processing

Пример:

Event Stream: user-actions (retention: 30 дней)
- 10:00:01 user-123 login
- 10:00:15 user-123 view-product-1
- 10:00:30 user-123 add-to-cart
- 10:01:00 user-123 checkout
- 10:01:30 user-123 purchase

Используется:
- Real-time Analytics
- Offline Analytics
- ML Model Training

Архитектурные характеристики Kafka

1. Pull Model (Потребитель тянет данные)

В отличие от traditional message brokers, Kafka использует pull model:

• Consumer сам запрашивает сообщения
• Consumer контролирует скорость обработки
• Нет backpressure проблем
• Батчинг для эффективности

Преимущества:

• Consumer может обрабатывать на своей скорости
• Меньше state на broker
• Более эффективно для bulk processing

2. Partition-based паралелизм

Kafka использует Partitions для паралелизма:

• Topic разделяется на партиции
• Каждая партиция может обрабатываться независимо
• Consumer Group распределяется по партициям
• Каждый consumer обрабатывает свой набор партиций

Это позволяет:

• Горизонтально масштабировать потребление
• Гарантировать порядок в рамках партиции
• Распределять нагрузку

3. Log-based хранилище

Kafka внутри использует Append-only Log:

• Все записи добавляются в конец лога
• Нет обновлений или удалений (только по retention policy)
• Очень быстрые операции
• Идеально для sequential reads

Сравнение моделей в Kafka

Когда использовать какую модель

Pub-Sub в Kafka для:

• Broadcasting событий между сервисами
• User.registered event отправляется в Email Service, Notification Service, Analytics
• Multiple independent consumers, которые не знают друг о друге
• Интеграция между независимыми системами

Queue модель в Kafka для:

• Task distribution и load balancing
• Image.uploaded распределяется на resize, thumbnail, watermark workers
• Batch processing с гарантией, что обработано только один раз
• Worker pool для параллельной обработки

Event Streaming для:

• Аудит и compliance: все действия пользователя логируются
• Stream processing: real-time analytics, monitoring, alerting
• Event sourcing: полная история для восстановления состояния
• CQRS: Events как единый источник истины

Практическое применение

В реальных системах Kafka часто используется во всех трех ролях одновременно:

E-commerce система:

1. Pub-Sub: order.created
   - к Email Service
   - к Inventory Service
   - к Notification Service

2. Queue: image.processing
   - для Image Processor Worker Pool
   - распределение работы

3. Event Stream: all-events
   - к Analytics (daily reports)
   - к Data Lake (archival)
   - к ML Pipeline (training data)

Отличительные черты Kafka

1. Pull Model — потребитель тянет, не получает push
2. Partition-based паралелизм — масштабируемость
3. Log-based персистентное хранилище — история событий
4. Потребители независимы — могут читать в своем темпе
5. Поддержка всех трех моделей — гибкость использования

Итоговый ответ

Kafka относится в первую очередь к Publish-Subscribe и Event Streaming моделям, но может использоваться и как Queue System.

Отличительная черта Kafka — это комбинация:

• Pull Model (потребитель тянет)
• Partition-based паралелизм (горизонтальная масштабируемость)
• Log-based персистентное хранилище (история и replay)

Это делает Kafka идеальной для high-throughput распределенных систем, real-time аналитики и событийных архитектур.