Какие стратегии партиционирования данных вы знаете? Когда и как их применять?

Стратегии партиционирования данных

Партиционирование — это разделение больших таблиц на меньшие логические части для улучшения производительности, управления и масштабирования.

1. Range Partitioning (по диапазону)

Делит данные по диапазонам значений. Самая частая стратегия для временных рядов.

CREATE TABLE events (
    event_id BIGINT,
    user_id INT,
    event_date DATE,
    event_value DECIMAL
)
PARTITION BY RANGE (YEAR(event_date)) (
    PARTITION p_2022 VALUES LESS THAN (2023),
    PARTITION p_2023 VALUES LESS THAN (2024),
    PARTITION p_2024 VALUES LESS THAN (2025),
    PARTITION p_future VALUES LESS THAN MAXVALUE
);

Когда использовать:

• Временные ряды (события, логи)
• Историческое удаление данных (DROP PARTITION старше N дней)
• Анализ по периодам

2. List Partitioning (по списку значений)

Делит по конкретным значениям или категориям.

CREATE TABLE users_by_region (
    user_id INT,
    username VARCHAR(100),
    country VARCHAR(50)
)
PARTITION BY LIST (country) (
    PARTITION p_russia VALUES IN ('RU', 'BY'),
    PARTITION p_europe VALUES IN ('DE', 'FR', 'GB'),
    PARTITION p_asia VALUES IN ('CN', 'JP', 'IN'),
    PARTITION p_other VALUES DEFAULT
);

Когда использовать:

• Геолокация (страны, регионы)
• Категории (статусы, типы)
• Логические группы данных

3. Hash Partitioning (по хешу)

Делит данные равномерно используя хеш-функцию. Гарантирует распределение.

CREATE TABLE user_transactions (
    transaction_id BIGINT,
    user_id INT,
    amount DECIMAL
)
PARTITION BY HASH (user_id) PARTITIONS 4;

Результат: 4 партиции примерно с равным числом строк.

Когда использовать:

• Равномерное распределение по узлам кластера
• Когда диапазоны неизвестны заранее
• Horizontal Scaling (Sharding)

4. Key Partitioning

Похож на Hash, но использует primary key вместо явного столбца.

CREATE TABLE orders (
    order_id BIGINT PRIMARY KEY,
    customer_id INT,
    order_date DATE
)
PARTITION BY KEY() PARTITIONS 8;

5. Composite Partitioning

Комбинирует две стратегии для лучшего управления.

CREATE TABLE events (
    event_id BIGINT,
    user_id INT,
    event_date DATE,
    country VARCHAR(50)
)
PARTITION BY RANGE (YEAR(event_date))
SUBPARTITION BY HASH (country) SUBPARTITIONS 4 (
    PARTITION p_2024 VALUES LESS THAN (2025),
    PARTITION p_2025 VALUES LESS THAN (2026)
);

6. Column Store Partitioning (ClickHouse)

В ClickHouse партиционирование часто используется с PARTITION BY для оптимизации OLAP запросов:

CREATE TABLE analytics.events (
    event_id UInt64,
    user_id UInt32,
    event_date Date,
    event_type String
) ENGINE = MergeTree()
ORDER BY (event_date, event_id)
PARTITION BY toYYYYMM(event_date);

Практический пример для Data Pipeline

# Apache Spark партиционирование
df = spark.read.parquet("s3://bucket/events/")

# Партиционирование по дате и стране
df.repartition("event_date", "country").write \
    .partitionBy("event_date", "country") \
    .parquet("s3://bucket/processed/events/")

# Структура после партиционирования:
# s3://bucket/processed/events/
#   event_date=2024-01-01/country=RU/part-*.parquet
#   event_date=2024-01-01/country=US/part-*.parquet
#   event_date=2024-01-02/country=RU/part-*.parquet

Преимущества партиционирования

1. Производительность — Partition Pruning исключает ненужные партиции
2. Параллелизм — разные узлы обрабатывают разные партиции
3. Управление — удаление старых данных (DROP PARTITION)
4. Масштабируемость — горизонтальное масштабирование
5. Запросы быстрее — система не сканирует все данные

Когда применять каждую стратегию

Лучшие практики

1. Партиционируй по столбцу, который часто используется в WHERE
2. Избегай очень большого числа партиций (> 1000)
3. Используй монотонно растущие значения (даты) для Range
4. Регулярно анализируй баланс партиций
5. Планируй архивирование и удаление старых данных