Что такое materialized views и когда их использовать?

Materialized Views

Materialized View - это виртуальная таблица с физически сохранёнными результатами запроса. Обычный VIEW пересчитывается при каждом обращении, а материализованное представление содержит уже вычисленные данные.

Обычный VIEW vs Materialized VIEW

Обычный VIEW:

CREATE VIEW user_stats AS
SELECT user_id, COUNT(*) as cnt
FROM orders GROUP BY user_id;

Материализованное представление:

CREATE MATERIALIZED VIEW user_stats_mv AS
SELECT user_id, COUNT(*) as cnt
FROM orders GROUP BY user_id;

Когда использовать

Используй Materialized Views, если:

• Выполняются дорогие агрегации (SUM, COUNT, AVG)
• Один и тот же запрос выполняется часто
• Данные не требуют real-time обновлений
• Нужна быстрая аналитика

Не используй, если:

• Нужны всегда актуальные данные
• Запросы простые и быстрые
• Данные часто меняются

Преимущества

1. Скорость - данные уже вычислены
2. Меньше нагрузки - не пересчитываем каждый раз
3. Индексирование - можно добавить индексы
4. Кешпрование результатов - эффективно

Недостатки

1. Память - требует дискового пространства
2. Актуальность - может быть отстала
3. Обновление - нужно периодически обновлять
4. Сложность - усложняет архитектуру

Обновление в PostgreSQL

REFRESH MATERIALIZED VIEW user_stats_mv;

REFRESH MATERIALIZED VIEW CONCURRENTLY user_stats_mv;

Пример

from sqlalchemy import create_engine, text

engine = create_engine('postgresql://localhost/db')

with engine.begin() as conn:
    conn.execute(text("""
        CREATE MATERIALIZED VIEW IF NOT EXISTS sales_summary_mv AS
        SELECT
            DATE(order_date) as date,
            SUM(amount) as total,
            COUNT(*) as orders
        FROM orders
        GROUP BY DATE(order_date)
    """))
    
    conn.execute(text("""
        CREATE INDEX idx_sales_date ON sales_summary_mv(date)
    """))

Автообновление

from airflow import DAG
from airflow.operators.sql import SQLExecuteQueryOperator
from datetime import datetime, timedelta

dag = DAG(
    'refresh_mv',
    schedule_interval='0 2 * * *',
    start_date=datetime(2024, 1, 1)
)

SQLExecuteQueryOperator(
    task_id='refresh_sales_mv',
    sql='REFRESH MATERIALIZED VIEW CONCURRENTLY sales_summary_mv;',
    conn_id='postgres'
)

Лучшие практики

1. Добавляй индексы на часто используемые поля
2. Обновляй по расписанию (не постоянно)
3. Мониторь размер и время обновления
4. Используй для агрегаций, а не для простых данных
5. Документируй зависимости между представлениями

Вывод: Materialized Views - это инструмент для кеширования результатов дорогих запросов. Используй для аналитики и больших агрегаций, но помни об актуальности данных и необходимости периодического обновления.