Что такое DAG?

Что такое DAG (Directed Acyclic Graph)?

DAG (ориентированный ациклический граф) — это фундаментальная структура данных в инженерии данных, представляющая собой набор узлов и направленных рёбер, где нет циклических путей. В контексте обработки данных DAG определяет последовательность и зависимости между различными операциями.

Основные компоненты DAG

• Узлы (Nodes) — отдельные задачи или операции обработки данных
• Рёбра (Edges) — зависимости между узлами, показывающие, что один узел должен завершиться перед началом другого
• Ацикличность — граф не содержит циклов, то есть невозможно вернуться в исходный узел, следуя рёбрам

Где используется DAG?

DAG широко применяется в инструментах оркестрации данных:

1. Apache Airflow — самый популярный инструмент для управления рабочими потоками. Каждый DAG описывает набор задач и их зависимостей
2. Prefect — современная платформа для оркестрации с улучшенным пользовательским опытом
3. Dagster — инструмент с фокусом на отслеживание данных и качество
4. dbt — использует DAG для определения зависимостей между трансформациями SQL-моделей

Примеры использования

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

default_args = {
    owner: data_engineer,
    start_date: datetime(2024, 1, 1)
}

dag = DAG(my_data_pipeline, default_args=default_args, schedule_interval=@daily)

def extract_data():
    print("Extracting data from source")

def transform_data():
    print("Transforming data")

def load_data():
    print("Loading data to warehouse")

task_extract = PythonOperator(
    task_id=extract,
    python_callable=extract_data,
    dag=dag
)

task_transform = PythonOperator(
    task_id=transform,
    python_callable=transform_data,
    dag=dag
)

task_load = PythonOperator(
    task_id=load,
    python_callable=load_data,
    dag=dag
)

task_extract >> task_transform >> task_load

Почему DAG важен?

• Явная семантика — зависимости ясны и явны в коде
• Параллелизм — задачи без зависимостей выполняются параллельно
• Мониторинг — легко отследить статус каждой задачи и всего конвейера
• Переиспользуемость — DAG можно версионировать и повторно использовать
• Отладка — проблемы в конкретной задаче изолированы и легко диагностируются

Отличие от других подходов

Отличие от линейной обработки в том, что DAG позволяет представить сложные рабочие потоки с множественными ветвлениями, параллельными задачами и условной логикой, а не только последовательное выполнение операций.

DAG — это стандарт современной инженерии данных для управления сложными конвейерами обработки данных.