В какой СУБД большой опыт

Основные СУБД в моей практике

За 10+ лет работы я получил глубокий опыт с несколькими категориями баз данных, каждая из которых решает специфические задачи в экосистеме data engineering.

PostgreSQL — фундамент

PostgreSQL остаётся моей основной СУБД для structured data. С этой БД я работаю больше всего:

• Проектирование schema с нормализацией (3NF, BCNF)
• Оптимизация запросов через EXPLAIN ANALYZE
• Индексирование: B-tree, Hash, GiST, BRIN для больших таблиц
• Партиционирование по времени и диапазонам
• Window functions для аналитики
• Common Table Expressions (CTE) для сложной логики

WITH user_stats AS (
  SELECT user_id, COUNT(*) as event_count,
    ROW_NUMBER() OVER (ORDER BY user_id) as rank
  FROM events
  WHERE date >= NOW() - INTERVAL '30 days'
  GROUP BY user_id
)
SELECT * FROM user_stats WHERE rank <= 1000;

Apache Spark + PySpark — распределённая обработка

Spark использую для ETL на больших объёмах (сотни ГБ-ТБ):

• DataFrame API и Spark SQL
• Оптимизация Catalyst optimizer
• Partitioning и bucketing для performance
• Работа с Hadoop HDFS и объектным хранилищем (S3)
• Incremental processing через checkpoint

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("DataPipeline").getOrCreate()
df = spark.read.parquet("/data/events")
agg_df = df.groupBy("timestamp").agg({"amount": "sum"})
agg_df.write.parquet("/data/aggregated")

ClickHouse — аналитика в реальном времени

ClickHouse — выбор для OLAP сценариев:

• Столбцовая архитектура (10-100x лучше)
• ReplacingMergeTree для обновлений фактов
• SummingMergeTree для предагрегированных метрик
• Обработка миллиардов событий в день

MongoDB — NoSQL гибкость

Для полуструктурированных данных:

• Документная модель
• Aggregation pipeline
• Горизонтальное масштабирование

Redis — кэширование

Redis применяю для кэширования горячих данных, rate limiting и счётчиков в реальном времени.

Мой выбор

В новых проектах предпочитаю начинать с PostgreSQL + Spark комбинации: надёжность, простота, современные инструменты.