Как хранятся данные в Redis?

Обзор хранения данных в Redis

Redis — это key-value store, где все данные хранятся в виде пар ключ-значение в оперативной памяти. Это фундаментальный принцип, определяющий высокую производительность системы (доступ за O(1) в большинстве случаев). Однако "значение" в Redis — это не просто строка, а одна из сложных структур данных.

Основные структуры данных и их внутреннее хранение

1. Strings (Строки)

Самая базовая структура. Ключ ассоциирован со строковым значением (которое может быть бинарным и достигать 512 МБ).

// Пример операции в Go
err := client.Set(ctx, "user:1000:name", "Алексей", 0).Err()

Внутри: Для коротких строк Redis использует оптимизированное представление embstr, для длинных — выделенную строку raw.

2. Lists (Списки)

Упорядоченные коллекции строк. Реализованы на основе linked list (списков) или, при небольшом размере и маленьких элементах, на ziplist — компактном представлении, экономящем память.

// Добавление в список
client.RPush(ctx, "tasks:queue", "отправить отчет")

3. Sets (Множества)

Неупорядоченные коллекции уникальных строк. Используются для операций пересечения, объединения. Внутри: Реализованы через hash table при большом размере или через intset (массив целых чисел), если все элементы — целые числа в определенном диапазоне, что сильно экономит память.

4. Hashes (Хеши)

Идеальны для представления объектов. Карта полей (field) и их значений (value).

// Хранение объекта пользователя
client.HSet(ctx, "user:1000", "name", "Алексей", "age", 30)

Внутри: Аналогично Set, использует ziplist для маленьких хешей или hash table для больших.

5. Sorted Sets (Упорядоченные множества)

Одна из самых мощных структур. Каждый элемент (member) имеет оценку (score), по которой происходит сортировка. Внутри: Использует комбинацию hash table (для быстрого доступа O(1) по элементу) и skip list (sorted set) для быстрого обхода по диапазону оценок за O(log N). Также может использовать ziplist для компактного хранения.

6. Bitmaps и HyperLogLogs

Специализированные структуры на основе String.

• Bitmap: позволяет эффективно работать с битами (например, статистика посещений).
• HyperLogLog: вероятностная структура для подсчета уникальных элементов с минимальным использованием памяти.

Ключевые аспекты организации хранения

Пространство ключей (Keyspace)

Все данные живут в едином keyspace. Ключи — это всегда строки (binary safe). Рекомендуется использовать имена по схеме object-type:id:field (например, user:1000:profile), что организует данные и позволяет эффективно использовать команды SCAN.

Работа с памятью

Поскольку данные хранятся в RAM, управление памятью критически важно. Redis предлагает несколько политик вытеснения (maxmemory-policy), когда лимит памяти исчерпан:

• volatile-lru — вытеснить ключи с истекшим сроком, используя LRU.
• allkeys-lru — вытеснить любые ключи по LRU.
• noeviction (по умолчанию) — возвращать ошибку при записи.

Персистентность

Хранение на диске обеспечивается двумя механизмами:

• RDB (Snapshotting): периодическое сохранение дампа всего набора данных в бинарный файл. Компактно и быстро для восстановления.
• AOF (Append Only File): лог каждой операции на запись. Обеспечивает лучшую долговечность, но файлы больше, а восстановление медленнее.

// Пример настройки AOF в конфигурации Redis
// appendonly yes
// appendfsync everysec

Индексация и поиск

В отличие от SQL-БД, Redis не индексирует данные автоматически. Индексы создаются вручную с помощью дополнительных структур данных (например, Set для индекса по тегу, Sorted Set для рейтинга).

Особенности для разработчика на Go

При работе с go-redis важно понимать, что драйвер сериализует данные для отправки по протоколу RESP (Redis Serialization Protocol). Сами данные в Redis хранятся в байтовом виде.

import "github.com/redis/go-redis/v9"

ctx := context.Background()
rdb := redis.NewClient(&redis.Options{Addr: "localhost:6379"})

// Пример хранения структуры (требуется сериализация, например, в JSON)
user := map[string]interface{}{"name": "Алексей", "age": 30}
err := rdb.HSet(ctx, "user:1000", user).Err()

Итог

Данные в Redis хранятся в оперативной памяти в виде пар ключ-значение, где значение — одна из 6 основных структур данных, каждая со своей внутренней оптимизацией для скорости и эффективного использования памяти. Выбор правильной структуры под конкретную задачу — ключ к эффективному использованию Redis. Для долговечности данных используются механизмы персистентности RDB и AOF, а для управления ограниченной памятью — политики вытеснения.