В чем разница между Kafka и Redis?

Различия между Kafka и Redis

Это два абсолютно разных инструмента, хотя оба часто используются для обработки данных в реальном времени. Часто разработчики путают их назначение.

Redis — In-Memory хранилище данных

Основное предназначение: Redis — это in-memory база данных и кэш. Он предназначен для быстрого доступа к данным и хранения их в оперативной памяти сервера.

import redis

# Подключение к Redis
r = redis.Redis(host="localhost", port=6379)

# Простой кэш
r.set("user:123", "John Doe", ex=3600)  # Срок действия 1 час
user_name = r.get("user:123")  # Очень быстро

# Работа со списками
r.lpush("tasks", "task1", "task2", "task3")
tasks = r.lrange("tasks", 0, -1)

# Pub/Sub (простая система сообщений)
pub = r.publish("notifications", "User logged in")

Ключевые характеристики:

• Данные хранятся в памяти (очень быстро, но ограничено объёмом ОЗУ)
• Простой синтаксис и API
• Поддерживает базовый Pub/Sub
• Отсутствие гарантии доставки сообщений
• Данные могут быть потеряны при перезагрузке (без RDB/AOF)

Kafka — Distributed Message Broker

Основное предназначение: Kafka — это распределённый брокер сообщений для потоковой обработки данных. Она гарантирует доставку, масштабирование и надёжность.

from kafka import KafkaProducer, KafkaConsumer
import json

# Отправка сообщения
producer = KafkaProducer(
    bootstrap_servers=["localhost:9092"],
    value_serializer=lambda v: json.dumps(v).encode("utf-8")
)

producer.send("user-events", {"user_id": 123, "action": "login"})
producer.flush()

# Получение сообщений
consumer = KafkaConsumer(
    "user-events",
    bootstrap_servers=["localhost:9092"],
    value_deserializer=lambda m: json.loads(m.decode("utf-8")),
    group_id="analytics-group",
    auto_offset_reset="earliest"  # Читать с начала
)

for message in consumer:
    print(f"Event: {message.value}")
    # Обработка события

Ключевые характеристики:

• Распределённая архитектура (множество узлов)
• Хранит сообщения на диске (долгое время, настраивается)
• Гарантия доставки (at-least-once, exactly-once)
• Высокая производительность (миллионы сообщений в секунду)
• Consumer Groups для параллельной обработки
• Переиспользование сообщений (можно читать заново)

Сравнительная таблица

Практические примеры использования

Redis подходит для:

• Кэширования часто запрашиваемых данных
• Хранения сессий пользователя
• Подсчёта рейтингов и лидербордов
• Простой очереди задач
• Ограничения частоты запросов (rate limiting)

# Пример: Rate limiting с Redis
from datetime import datetime

def is_rate_limited(user_id, limit=100, window=3600):
    key = f"rate_limit:{user_id}"
    current = r.incr(key)
    if current == 1:
        r.expire(key, window)
    return current > limit

Kafka подходит для:

• Потоковой обработки больших объёмов данных
• Логирования событий (event sourcing)
• Связи между микросервисами
• Real-time аналитики
• Гарантированной доставки сообщений

# Пример: Event sourcing с Kafka
def process_user_events():
    for message in consumer:
        event = message.value
        if event["type"] == "login":
            update_analytics(event["user_id"])
        elif event["type"] == "purchase":
            process_payment(event)

Вывод

Redis — когда нужна скорость и простота (кэш, сессии, очереди)

Kafka — когда нужна надёжность, масштабируемость и гарантия доставки (потоковая обработка, события)