Как Kafka хранит данные?

Архитектура хранения данных в Apache Kafka

Apache Kafka использует уникальную архитектуру хранения, сочетающую в себе черты файловой системы, журналирования и базы данных. Вот подробное объяснение того, как Kafka организует и управляет данными.

Философия хранения: Commit Log как фундамент

Основная концепция - журнал фиксации (commit log), который является неразрушающей, упорядоченной структурой данных. Все записи добавляются только в конец, что обеспечивает высокую производительность записи и предсказуемую семантику чтения.

Ключевые элементы системы хранения

1. Топики и партиции

• Топик - логическая категория для сообщений (например, user-events)
• Партиция - физическое разделение топика на упорядоченные последовательности
• Каждое сообщение в партиции имеет монотонно возрастающий offset

// Пример структуры сообщения Kafka на Go
type KafkaMessage struct {
    Topic     string
    Partition int32
    Offset    int64
    Key       []byte
    Value     []byte
    Headers   []Header
    Timestamp time.Time
}

2. Структура файлов на диске

Каждая партиция хранится как директория с набором сегментов:

topic-name-0/          # Партиция 0 топика
├── 00000000000000000000.index
├── 00000000000000000000.log
├── 00000000000000000000.timeindex
├── 00000000000100000000.index
├── 00000000000100000000.log
└── 00000000000100000000.timeindex

Форматы файлов

Сегмент лога (.log)

Бинарный файл с последовательностью сообщений:

• Фиксированный заголовок (magic byte, attributes, timestamp)
• Ключ и значение с переменной длиной
• Смещения для быстрого поиска

// Структура записи в лог-файле (упрощенно)
type LogRecord struct {
    Offset      int64
    MessageSize int32
    CRC         int32
    MagicByte   int8
    Attributes  int8
    KeyLength   int32
    Key         []byte
    ValueLength int32
    Value       []byte
}

Индексный файл (.index)

Содержит отображение offset → физическая позиция в лог-файле:

• Разреженный индекс - не каждая запись индексируется
• Типичный интервал индексации: 1 запись на 4KB данных
• Позволяет быстрый поиск по offset'ам

Стратегии хранения и очистки

1. Ретеншн политики

• По времени (retention.ms) - удаление старых сегментов
• По размеру (retention.bytes) - ограничение общего размера
• Компакция лога - сохранение только последнего значения для каждого ключа

2. Управление сегментами

• Ротация сегментов при достижении segment.bytes (по умолчанию 1GB)
• Активный сегмент всегда открыт для записи
• Закрытые сегменты доступны только для чтения

Оптимизации производительности

Zero-copy операции

Kafka эффективно использует системные вызовы:

• sendfile() для передачи данных от диска к сети
• mmap() для чтения индексов в память
• Page cache ОС активно используется для кэширования

// Пример использования page cache в архитектуре Kafka
// Данные читаются через mmap, что минимизирует копирование
func readSegment(filename string) {
    file, _ := os.Open(filename)
    data, _ := mmap.Map(file, mmap.RDONLY, 0)
    // Работа с отображенными данными...
}

Последовательный доступ к диску

• Записи только append-only (дописываются в конец)
• Чтение происходит последовательно по сегментам
• Комбинация случайного и последовательного доступа

Репликация и отказоустойчивость

Механизм ISR (In-Sync Replicas)

• Лидер-партиция принимает записи
• Реплики синхронно копируют данные
• High Watermark - offset, реплицированный во все ISR

Особенности Kafka Streams и состояния

Для потоковой обработки Kafka использует:

• Топики changelog для хранения состояния приложения
• Встроенные RocksDB для локального кэширования состояния
• Транзакционность для exactly-once семантики

Настройки, влияющие на хранение

# Пример важных конфигураций
log.segment.bytes=1073741824        # 1GB максимальный размер сегмента
log.retention.hours=168             # 7 дней хранения
log.retention.bytes=-1              # Без ограничения по размеру
log.index.interval.bytes=4096       # Интервал индексации
log.flush.interval.messages=10000   # Интервал сброса на диск

Преимущества такого подхода

1. Высокая пропускная способность - последовательные операции ввода-вывода
2. Предсказуемая задержка - отсутствие произвольного доступа
3. Эффективное использование диска - отсутствие фрагментации
4. Масштабируемость - независимые партиции
5. Надежность - данные не перезаписываются, только дописываются

Ограничения и компромиссы

• Увеличение количества файлов при большом числе партиций
• Нет встроенной индексации по содержимому - только по offset
• Требует ручной настройки под конкретные сценарии использования

Такой подход к хранению данных делает Kafka идеальной для:

• Потоковой передачи данных в реальном времени
• Событийного журналирования с гарантированной доставкой
• Буферизации между различными системами
• Хранения истории изменений для восстановления состояния

Архитектура хранения Kafka представляет собой мастерский баланс между производительностью, надежностью и простотой, что объясняет ее популярность в современных распределенных системах.