К какому классу относится система на текущем проекте

Классификация систем хранения и обработки данных

Классификация систем в Data Engineering основана на характеристиках обработки, хранения и аналитики. На разных проектах я работал с разными архитектурами.

Основные классы систем

1. OLTP (Online Transaction Processing)

Характеристики:

• Частые, быстрые операции INSERT/UPDATE
• Небольшой объём данных на один запрос
• Требует ACID гарантий
• Низкая latency (< 100 ms)
• Нормализованная схема

Примеры:

• PostgreSQL, MySQL (с хорошей нормализацией)
• MongoDB (для гибких схем)
• Системы заказов, платежей, CRM

-- OLTP запрос: получить текущий баланс пользователя
SELECT balance FROM users WHERE user_id = 12345;

2. OLAP (Online Analytical Processing)

Характеристики:

• Редкие, сложные запросы
• Агрегации на миллиарды записей
• Может быть eventual consistency
• Высокая throughput важнее, чем latency
• Денормализованная схема (star schema)

Примеры:

• Snowflake, BigQuery, Redshift
• Clickhouse, DuckDB
• Аналитические хранилища данных

-- OLAP запрос: всё для аналитики
SELECT 
    DATE_TRUNC(month, order_date) as month,
    country,
    COUNT(*) as orders_count,
    SUM(amount) as revenue
FROM orders
WHERE order_date >= 2025-01-01
GROUP BY 1, 2
ORDER BY revenue DESC;

3. HTAP (Hybrid Transactional/Analytical Processing)

Характеристики:

• Поддерживает И OLTP, И OLAP одновременно
• Единый источник правды
• Сложнее в реализации

Примеры:

• Google Cloud Spanner
• CockroachDB
• Некоторые конфигурации PostgreSQL

Специализированные классы

Data Lakehouse

Данные → Data Lake (raw, parquet/delta) → Processed Layer → BI
         ↓
     Metastore (schema)

Apache Iceberg, Delta Lake, Apache Hudi — форматы для озер данных

Time-Series Database

# InfluxDB, Prometheus, TimescaleDB
metrics = {
    "timestamp": "2026-03-26T10:30:00Z",
    "sensor_id": "temp_room_1",
    "value": 22.5
}

Event Streaming System

Events → Kafka/Pulsar → Stream Processing (Flink, Spark) → Analytics

На практике: выбор класса по требованиям

OLTP выбираю когда:

• Приложение требует быстрые операции
• Нужны транзакции
• Количество пользователей < 100K одновременно

OLAP выбираю когда:

• Нужна аналитика
• Примирим со слегка устаревшими данными
• Запросы редкие, но сложные

HTAP выбираю когда:

• Real-time analytics обязателен
• Нельзя ждать реплицирования в хранилище
• Бюджет позволяет сложность

Типичная архитектура моих проектов

Application (OLTP) → PostgreSQL/MySQL
        ↓
ETL Pipeline → Data Warehouse (OLAP) ← Snowflake/BigQuery
        ↓
    BI Dashboard ← Analytics

Вывод

Выбор класса системы зависит от:

• Latency требования — OLTP vs OLAP
• Масштаба данных — от простого SQL к Spark
• Типа операций — transactional vs analytical
• Консистентности — ACID vs eventual consistency

На текущем проекте система часто начинается как OLTP, затем добавляется OLAP слой для аналитики, и финально переходит в HTAP для real-time insights.