На какой СУБД находится DWH на текущем проекте?

СУБД для Data Warehouse (DWH)

Данные хранилище может работать на разных базах данных, выбор зависит от требований проекта, объемов данных и архитектуры.

Популярные варианты СУБД для DWH

PostgreSQL — традиционный выбор для аналитических задач благодаря:

• Поддержке больших объемов данных
• Встроенным возможностям для аналитики (window functions, CTEs)
• Расширениям для columnar storage (Citus, TimescaleDB)
• Бесплатность и открытость кода

Snowflake — облачное решение с архитектурой разделения хранилища и вычислений:

• Масштабируемость и производительность
• Платформа-агностичность (AWS, Azure, GCP)
• Встроенная поддержка полуструктурированных данных (JSON, Parquet)

Google BigQuery — serverless хранилище для аналитики:

• Быстрые запросы благодаря columnar format
• Масштабируемость и простота использования
• Интеграция с Google Cloud экосистемой

Apache Hive на Hadoop — для больших распределенных данных:

• Работа с петабайтами данных
• MapReduce обработка
• Требует значительных ресурсов и опыта управления

Vertica, Exasol, ClickHouse — специализированные columnar СУБД с высокой скоростью аналитических запросов.

Типовая архитектура

Источники данных (OLTP)
    ↓
ETL/ELT процессы
    ↓
STaging area (PostgreSQL/S3)
    ↓
Data Warehouse (Snowflake/BigQuery/PostgreSQL)
    ↓
Data Marts и витрины
    ↓
Бизнес-аналитика и BI инструменты

Пример конфигурации PostgreSQL для DWH

-- Настройка для аналитических запросов
ALTER SYSTEM SET work_mem = 256MB;
ALTER SYSTEM SET shared_buffers = 8GB;
ALTER SYSTEM SET effective_cache_size = 24GB;
ALTER SYSTEM SET random_page_cost = 1.1;

-- Создание таблицы фактов с индексом
CREATE TABLE fact_sales (
    sale_id BIGINT PRIMARY KEY,
    date_id INT,
    product_id INT,
    customer_id INT,
    amount DECIMAL(12,2),
    quantity INT
);

CREATE INDEX idx_fact_sales_date ON fact_sales(date_id);

Критерии выбора

1. Объем данных — PostgreSQL хорош до 10-100 TB, выше рассмотрим облачные решения
2. Частота обновления — OLAP базы часто переносят данные пакетами
3. Стоимость — PostgreSQL дешевле, облачные дороже но гибче
4. Скорость запросов — Snowflake и BigQuery обычно быстрее благодаря распределению
5. Нужны raw файлы? — AWS S3 + Athena, Azure Data Lake + Synapse

Моя рекомендация

Для стартапа или mid-market компании рекомендую PostgreSQL с расширением для columnar storage или переход на Snowflake при росте объемов. Для enterprise с гибридной облачной инфраструктурой — BigQuery (GCP) или Synapse (Azure).