Для чего нужен ELT?

ELT (Extract, Load, Transform)

ELT — это парадигма обработки данных, которая является эволюцией классического ETL (Extract, Transform, Load). Это критически важно в современной data engineering, особенно в облачных системах.

Различие ETL и ELT:

ETL (старый подход)

Источник данных
    ↓
[EXTRACT] — получить данные
    ↓
[TRANSFORM] — обработать, очистить, агрегировать (в памяти или на сервере)
    ↓
[LOAD] — загрузить в хранилище
    ↓
Данные хранилище

ELT (современный подход)

Источник данных
    ↓
[EXTRACT] — получить данные
    ↓
[LOAD] — загрузить всё как есть в облачное хранилище
    ↓
[TRANSFORM] — обработать прямо в хранилище (на мощных вычислениях)
    ↓
Обработанные данные

Основные отличия:

Когда использовать ELT:

1. Big Data и облачные хранилища

• Snowflake, BigQuery, Redshift идеально подходят для ELT
• Они спроектированы для обработки петабайт данных
• Масштабирование на лету

# Пример с BigQuery
from google.cloud import bigquery

client = bigquery.Client()

# ELT: загружаем сырые данные
job_config = bigquery.LoadJobConfig(
    source_format=bigquery.SourceFormat.CSV,
    skip_leading_rows=1,
    autodetect=True,
)

load_job = client.load_table_from_uri(
    "gs://my_bucket/raw_data.csv",
    "my_dataset.raw_data",
    job_config=job_config,
)
load_job.result()  # Ждём загрузки

# Затем трансформируем в самом BigQuery
query = """
SELECT 
    DATE(timestamp) as date,
    user_id,
    COUNT(*) as events,
    SUM(amount) as total_amount
FROM my_dataset.raw_data
GROUP BY 1, 2
"""
query_job = client.query(query)
results = query_job.result()

2. Потоковые данные (Streaming) ЕЛТ позволяет обрабатывать большие потоки в реальном времени:

# Apache Kafka → Cloud Storage → BigQuery Transform
from kafka import KafkaConsumer
import json

consumer = KafkaConsumer('events')

for message in consumer:
    # ELT: Extract
    event = json.loads(message.value)
    
    # Load: напрямую в облачное хранилище
    # (трансформация произойдёт позже в облаке)
    upload_to_cloud(event)

3. Data Lake (озеро данных) ЕЛТ идеален для data lake архитектуры:

┌─────────────────────────────────────┐
│      Data Lake (сырые данные)      │
│  - БД системы CRM                   │
│  - Логи приложения                  │
│  - События с фронта                 │
│  - API партнеров                    │
└──────────┬──────────────────────────┘
           │
           │ Transform (в облаке)
           ↓
┌─────────────────────────────────────┐
│    Data Warehouse (чистые данные)   │
│  - Агрегированные метрики            │
│  - Пользовательские сегменты         │
│  - Готово для BI-инструментов       │
└─────────────────────────────────────┘
           ↓
     (Dashboards, Reports)

Инструменты для ELT:

1. dbt (data build tool) Самый популярный инструмент для трансформации в ELT:

# dbt/models/users_summary.sql
SELECT
    user_id,
    COUNT(*) as purchases,
    SUM(amount) as total_spent,
    MAX(purchase_date) as last_purchase
FROM {{ ref('raw_orders') }}
GROUP BY user_id

dbt run  # Выполнить трансформации
dbt test # Тестировать качество данных
dbt docs generate # Документировать модели

2. Apache Beam (unified pipeline)

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions

with beam.Pipeline(options=PipelineOptions()) as p:
    (p 
     | 'Read from Cloud Storage' >> beam.io.ReadFromText('gs://bucket/data.csv')
     | 'Transform' >> beam.Map(transform_function)
     | 'Write to BigQuery' >> beam.io.WriteToBigQuery('project:dataset.table')
    )

3. Airbyte Открытая платформа для синхронизации данных (Extract + Load):

airbyte extract --source postgres --destination gcs

ELT Pipeline на Python:

import pandas as pd
from google.cloud import storage, bigquery

# EXTRACT: получить данные
def extract_data():
    # Из БД
    df = pd.read_sql("SELECT * FROM orders", db_connection)
    return df

# LOAD: загрузить в облако
def load_to_gcs(df):
    client = storage.Client()
    bucket = client.bucket('my-bucket')
    
    # Сохранить как Parquet (эффективнее CSV)
    df.to_parquet('gs://my-bucket/raw_orders.parquet')

# TRANSFORM: обработать в BigQuery
def transform_in_bq():
    client = bigquery.Client()
    
    query = """
    CREATE OR REPLACE TABLE my_dataset.orders_summary AS
    SELECT 
        customer_id,
        COUNT(*) as order_count,
        AVG(amount) as avg_order_value,
        MAX(order_date) as last_order
    FROM my_dataset.raw_orders
    WHERE order_date >= '2024-01-01'
    GROUP BY customer_id
    """
    
    query_job = client.query(query)
    query_job.result()

# Оркестрация
def main():
    df = extract_data()           # E
    load_to_gcs(df)               # L
    transform_in_bq()             # T
    print("ELT pipeline completed")

if __name__ == "__main__":
    main()

Преимущества ELT:

1. Скорость загрузки

• Не нужна обработка перед загрузкой
• Параллельная загрузка больших объёмов
• Часто на 10x быстрее ETL

2. Сохранение сырых данных

Проблема с ETL: потеряли исходные данные
ЕЛТ: сырые данные всегда в lake

3. Гибкость трансформации

• Новые требования? Просто напиши новый SQL
• Не нужна переработка pipeline
• Экспериментируй с данными свободно

4. Масштабируемость

• Облако масштабируется автоматически
• BigQuery обработает 1TB как легко
• Стоимость линейна, а не экспоненциальна

Недостатки ELT:

1. Требует облачное хранилище

• BigQuery, Snowflake стоят денег
• Для маленьких проектов может быть дорого

2. Сложность управления сырыми данными

• Нужна хорошая организация data lake
• Документирование и governance
• Качество данных важнее

3. Поздняя валидация

ЕТЛ: ошибка ловится при трансформации
ЕЛТ: ошибка видна после загрузки в облако

ELT vs ETL: выбор подхода

Вывод: ELT — это будущее data engineering. В эпоху облачных вычислений и больших данных ELT позволяет строить масштабируемые и гибкие data pipeline с минимальными затратами на инфраструктуру.