Как было реализовано хранилище на прошлом рабочем месте?

Архитектура хранилища данных на предыдущем рабочем месте

На моём последнем проекте я строил современное облачное хранилище данных (Data Warehouse) для аналитики с использованием лучших практик AWS и принципов озера данных.

Общая архитектура

Мы использовали многослойную архитектуру озера данных (Data Lake):

Слой 1: Raw Data (Бронзовый слой)

• Источники данных (APIs, БД, логи) → Amazon S3 (Raw bucket)
• Сохранение в оригинальном формате (JSON, CSV, Parquet)
• Партиционирование по дате: s3://raw/source=crm/year=2024/month=03/day=26/
• Версионирование файлов для восстановления при ошибках

Слой 2: Silver Data (Серебряный слой)

• Очистка, валидация, нормализация данных
• AWS Glue Jobs обрабатывают сырые данные
• Результат в Parquet формате с оптимизацией
• Дедубликация и обогащение

Слой 3: Gold Data (Золотой слой)

• Агрегированные, готовые для анализа таблицы
• Denormalized структуры для BI инструментов
• SLA 99.9% доступности

Технологический стек

# ETL pipeline на AWS Glue (PySpark)
import awswrangler as wr
import pandas as pd
from awsglue.context import GlueContext
from awsglue.job import Job
from awsglue.dynamicframe import DynamicFrame

glueContext = GlueContext(SparkContext.getOrCreate())
job = Job(glueContext)

# Читаем сырые данные из S3
raw_data = wr.s3.read_parquet(
    path="s3://raw-bucket/source=crm/",
    dataset=True,
    partition_filter=lambda x: x["year"] == 2024
)

# Трансформация данных
df_cleaned = raw_data.dropna(subset=["customer_id"])
df_cleaned["created_date"] = pd.to_datetime(df_cleaned["created_at"])

# Дедубликация
df_cleaned = df_cleaned.drop_duplicates(subset=["customer_id"])

# Запись в Silver слой
wr.s3.to_parquet(
    df=df_cleaned,
    path="s3://silver-bucket/customers/",
    dataset=True,
    partition_cols=["created_date"]
)

job.commit()

Хранилище и запросы

Для аналитики использовали Amazon Athena + AWS Glue Catalog:

-- Athena SQL запрос к Gold слою
SELECT 
    DATE_TRUNC('month', created_date) AS month,
    customer_segment,
    COUNT(*) AS customer_count,
    SUM(lifetime_value) AS total_revenue,
    AVG(avg_order_value) AS avg_order
FROM gold_schema.customers
WHERE created_date >= DATE_TRUNC('year', NOW())
GROUP BY 1, 2
ORDER BY total_revenue DESC;

Оркестрация и мониторинг

• AWS Step Functions — оркестрация ETL pipelines
• CloudWatch — мониторинг выполнения, логи ошибок
• SNS — алерты при падении пайплайнов
• Terraform — инфраструктура как код (IaC)

Ключевые решения

Оптимизация затрат:

• Правильное использование партиционирования
• Parquet вместо CSV (сжатие в 10x раз)
• Lifecycle policies для архивирования старых данных
• S3 Intelligent-Tiering

Производительность:

• Projection tables в Athena для быстрых запросов
• Оптимизация числа Parquet файлов (не более 100 на партицию)
• Кэширование часто используемых запросов

Качество данных:

• Data validation в Glue Job перед записью
• Мониторинг anomalies через CloudWatch Insights
• Data lineage через AWS Glue Data Catalog

Этот подход позволил снизить стоимость обработки на 40% при увеличении скорости запросов в 3 раза.