Что такое CI/CD?

CI/CD: Основы автоматизации разработки

CI/CD — это набор практик и инструментов для автоматизации процессов разработки, тестирования и развёртывания кода. Это критически важно в Data Engineering для обеспечения стабильности и надёжности данных.

Что такое CI (Continuous Integration)?

CI — процесс непрерывной интеграции изменений кода в общий репозиторий. Основная идея:

• Разработчики часто (несколько раз в день) отправляют код в общую ветку
• Автоматически запускаются тесты, проверка качества кода, статический анализ
• Ошибки обнаруживаются быстро, на ранних этапах

Пример CI pipeline:

stages:
  - lint
  - test
  - coverage

lint:
  script:
    - pylint src/
    - black --check src/

test:
  script:
    - pytest tests/ --cov=src
    - pytest tests/ -v

Что такое CD (Continuous Deployment/Delivery)?

CD имеет два варианта:

1. Continuous Delivery — код автоматически подготавливается к боевому развёртыванию, но развёртывание выполняется вручную. Позволяет быстро деплоить при необходимости.

2. Continuous Deployment — весь процесс полностью автоматизирован: от коммита до production. Любой прошедший тесты код автоматически уходит в боевой сервер.

Пример CD stage:

deploy:
  stage: deploy
  script:
    - python -m pip install -r requirements.txt
    - python scripts/deploy_models.py
    - airflow dags deploy
  only:
    - main

Почему CI/CD важна для Data Engineer?

1. Качество данных — автоматические тесты ловят ошибки в ETL/ELT pipelines
2. Версионирование кода — все изменения отслеживаются, можно откатиться
3. Воспроизводимость — same code = same results
4. Масштабирование — безопасное развёртывание на разные окружения (dev, staging, prod)
5. Мониторинг — метрики качества данных, дата quality checks

Практический пример для дата-инженера

# tests/test_etl.py
def test_data_validation():
    """Проверяем, что целевые данные валидны"""
    df = load_data()
    assert df.isnull().sum().sum() == 0  # нет null
    assert (df["amount"] > 0).all()  # все суммы положительные
    assert len(df) > 1000  # достаточно записей

def test_schema_consistency():
    """Проверяем схему данных"""
    df = load_data()
    expected_columns = {"user_id", "name", "email", "created_at"}
    assert set(df.columns) == expected_columns
    assert df["user_id"].dtype == "int64"

Популярные инструменты: GitLab CI, GitHub Actions, Jenkins, Apache Airflow, dbt (для дата-трансформаций).

Вывод: CI/CD — это не просто DevOps, это инженерная культура, которая делает кодовую базу надёжной, безопасной и масштабируемой.