Что такое high-load система и какие подходы к работе с высокой нагрузкой знаешь?

High-Load системы

High-load система — это приложение, которое должно обрабатывать большой объём трафика, запросов и данных с сохранением приемлемой производительности. В контексте Data Engineering это означает системы обработки больших объёмов данных в реальном времени.

Метрики high-load

• Throughput (пропускная способность): количество запросов/событий в секунду (RPS, events/sec)
• Latency (задержка): время ответа на один запрос
• Availability (доступность): процент времени работоспособности
• Data Volume: объём обрабатываемых данных (TB/день, PB/месяц)

Основные подходы к работе с высокой нагрузкой

1. Горизонтальное масштабирование (Horizontal Scaling)

Добавление большего количества серверов вместо увеличения мощности одного сервера.

Преимущества:

• Линейный рост производительности
• Отказоустойчивость
• Гибкость

Реализация в Data Engineering:

• Распределённые фреймворки: Apache Spark, Hadoop, Flink
• Кластеры баз данных: Cassandra, HBase, Elasticsearch
• Load balancing между нодами

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("HighLoad") \
    .config("spark.executor.instances", "100") \
    .config("spark.executor.cores", "4") \
    .config("spark.executor.memory", "8g") \
    .getOrCreate()

df = spark.read.parquet("s3://bucket/data/")
result = df.groupBy("user_id").count().write.parquet("output")

2. Кэширование

Сохранение часто используемых данных в быстром доступе.

Уровни кэширования:

• In-Memory Cache: Redis, Memcached (миллисекундные задержки)
• Database Cache: индексы, материализованные представления
• Application Cache: локальный кэш в процессе
• CDN Cache: для статического контента

import redis

redis_client = redis.Redis(host='localhost', port=6379)

def get_user_stats(user_id):
    cache_key = f"user:{user_id}:stats"
    
    cached = redis_client.get(cache_key)
    if cached:
        return json.loads(cached)
    
    stats = expensive_computation(user_id)
    redis_client.setex(cache_key, 3600, json.dumps(stats))
    return stats

3. Async / Non-Blocking обработка

Обработка запросов без блокировки потока для другого запроса.

import asyncio
import aiohttp

async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.json()

async def process_multiple_sources():
    urls = ["url1", "url2", "url3"]
    results = await asyncio.gather(*[fetch_data(url) for url in urls])
    return results

4. Batch обработка vs Streaming

Batch (макропакетная обработка):

• Обработка больших объёмов данных за один раз
• Инструменты: Spark, Hadoop, BigQuery
• Задержка: часы или минуты

Streaming (потоковая обработка):

• Обработка данных в реальном времени
• Инструменты: Kafka, Flink, Spark Streaming
• Задержка: миллисекунды

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("Streaming").getOrCreate()

df = spark.readStream \
    .format("kafka") \
    .option("kafka.bootstrap.servers", "localhost:9092") \
    .option("subscribe", "events") \
    .load()

result = df.groupBy("user_id").count()

query = result.writeStream \
    .outputMode("update") \
    .format("console") \
    .start()

5. Партиционирование и Sharding

Партиционирование — разделение данных в одной базе по ключам. Sharding — распределение данных по разным физическим серверам.

CREATE TABLE events (
    event_id INT,
    user_id INT,
    event_date DATE,
    data JSON
) PARTITION BY RANGE (YEAR(event_date)) (
    PARTITION p2023 VALUES LESS THAN (2024),
    PARTITION p2024 VALUES LESS THAN (2025),
    PARTITION p2025 VALUES LESS THAN (2026)
);

6. Database оптимизация

• Индексы: ускорение поиска
• Денормализация: дублирование данных для снижения JOIN'ов
• Columnar хранилища: Parquet, ORC, ClickHouse для аналитики
• Query optimization: оптимальное написание SQL

7. Connection pooling

Повторное использование DB соединений вместо создания нового для каждого запроса.

from psycopg2 import pool

connection_pool = pool.SimpleConnectionPool(
    1, 20,
    database="analytics",
    user="user",
    password="pass",
    host="localhost"
)

def execute_query(query):
    conn = connection_pool.getconn()
    try:
        cursor = conn.cursor()
        cursor.execute(query)
        result = cursor.fetchall()
        return result
    finally:
        connection_pool.putconn(conn)

8. Мониторинг и Метрики

Отслеживание производительности для выявления узких мест.

Инструменты:

• Prometheus + Grafana для метрик
• ELK Stack для логов
• DataDog, New Relic для full-stack monitoring

Высокая нагрузка требует комплексного подхода, часто сочетающего несколько техник одновременно.