Как следил за ветринами на проекте?

Мониторинг и отслеживание версий на проекте

Это вопрос о версионировании и мониторинге версий зависимостей (англ. "version tracking") в data-инженерных проектах. Вероятно, имеется в виду управление версиями различных компонентов: Python, библиотек, фреймворков, инструментов.

Версионирование в Data Engineering проектах

Ключевые компоненты, которые нужно отслеживать:

1. Python версия Критично для совместимости кода и синтаксиса:

• Разные версии имеют разные возможности
• Некоторые библиотеки требуют конкретные версии Python
• Устаревшие версии имеют уязвимости безопасности

import sys
print(f"Python {sys.version}")
print(f"Version info: {sys.version_info}")

2. Зависимости проекта (Dependencies) Все используемые библиотеки должны быть закреплены в файлах версионирования:

requirements.txt:
pandas==2.0.3
numpy==1.24.3
apache-airflow==2.6.1
pyspark==3.4.1
psycopg2-binary==2.9.6

3. Фреймворки и инструменты

• Apache Airflow
• Apache Spark
• Databases (PostgreSQL, MySQL, MongoDB)
• Cloud tools (AWS SDK, GCP client, Azure SDK)

Способы отслеживания версий

Способ 1: requirements.txt

# Точные версии
pandas==2.0.3
numpy==1.24.3

# Минимальная версия
psycopg2>=2.9.0

# Диапазон версий
apache-airflow>=2.5.0,<3.0.0

Способ 2: poetry (pyproject.toml)

[tool.poetry.dependencies]
python = "^3.10"
pandas = "^2.0.3"
numpy = "~1.24.3"
apache-airflow = ">=2.5.0,<3.0.0"

Способ 3: Conda (environment.yml)

name: data-pipeline
channels:
  - conda-forge
dependencies:
  - python=3.10
  - pandas=2.0.3
  - numpy=1.24.3
  - postgresql=14.0

Проверка версий во время разработки

1. CI/CD pipeline Проверяй версии в GitHub Actions, GitLab CI и т.д.:

name: Check versions
on: push
jobs:
  check-versions:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      - uses: actions/setup-python@v4
        with:
          python-version: '3.10'
      - run: pip install -r requirements.txt
      - run: python --version
      - run: python -m pip list

2. Проверка совместимости

import sys
import pandas as pd
import numpy as np

required_python = (3, 10)
if sys.version_info < required_python:
    raise RuntimeError(
        f"Python {required_python[0]}.{required_python[1]}+ required"
    )

required_pandas = "2.0.0"
if pd.__version__ < required_pandas:
    raise ImportError(
        f"pandas {required_pandas}+ required"
    )

3. Автоматическая проверка старых версий

from packaging import version
import warnings

def check_airflow_version():
    try:
        import airflow
        min_version = "2.5.0"
        if version.parse(airflow.__version__) < version.parse(min_version):
            warnings.warn(
                f"Airflow {airflow.__version__} < {min_version} recommended"
            )
    except ImportError:
        pass

Мониторинг уязвимостей в зависимостях

1. Используй safety для проверки уязвимостей

# Установка
pip install safety

# Проверка
safety check --json > vulnerabilities.json

2. Dependabot на GitHub Автоматически создаёт PR'ы для обновления зависимостей:

# .github/dependabot.yml
version: 2
updates:
  - package-ecosystem: "pip"
    directory: "/"
    schedule:
      interval: "weekly"
    allow:
      - dependency-type: "all"

3. Snyk для сканирования уязвимостей

npm install -g snyk
snyk test

Документирование версий

VERSIONS.md в репозитории:

# Версии компонентов проекта

## Текущие версии (Production)
- Python: 3.10.12
- Apache Airflow: 2.6.1
- Apache Spark: 3.4.1
- PostgreSQL: 14.8
- pandas: 2.0.3
- numpy: 1.24.3

## Требования
- Python >= 3.9, < 4.0
- PostgreSQL >= 12
- Docker >= 20.0

## История обновлений
- 2024-03-01: Обновлена Airflow с 2.5.0 на 2.6.1
- 2024-02-15: Обновлены pandas и numpy

Версионирование контейнеров (Docker)

Dockerfile с фиксированными версиями:

FROM python:3.10.12-slim

RUN apt-get update && apt-get install -y \
    postgresql-client-14 \
    && rm -rf /var/lib/apt/lists/*

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

CMD ["python", "main.py"]

Docker Compose с версиями сервисов:

version: '3.9'
services:
  postgres:
    image: postgres:14.8
    environment:
      POSTGRES_VERSION: 14.8
  
  airflow:
    image: apache/airflow:2.6.1
    environment:
      AIRFLOW_VERSION: 2.6.1
  
  spark:
    image: bitnami/spark:3.4.1
    environment:
      SPARK_VERSION: 3.4.1

Best Practices для Data Engineer'ов

1. Закрепляй все версии в Production

# Хорошо
pandas==2.0.3
numpy==1.24.3

# Плохо
pandas
numpy

2. Используй семантическое версионирование (semver)

MAJOR.MINOR.PATCH (например 2.6.1)
- MAJOR: несовместимые изменения
- MINOR: новые функции (совместимые)
- PATCH: баг-фиксы

3. Тестируй обновления в отдельной ветке

git checkout -b upgrade/airflow-2.7
# Обновляем версию, тестируем
pip install apache-airflow==2.7.0
# Запускаем тесты
pytest tests/

4. Документируй причины обновлений

Bump airflow from 2.5.0 to 2.6.1

Reasons:
- Fix for critical security vulnerability CVE-2024-XXXX
- Performance improvements for DAG parsing
- Support for Python 3.12

Testing:
- All DAGs passed in staging
- Load test: OK
- No breaking changes detected

5. Мониторь версии в production

import logging
import airflow
import pandas as pd

logger = logging.getLogger(__name__)

logger.info(f"Running with Airflow {airflow.__version__}")
logger.info(f"Using pandas {pd.__version__}")

Инструменты для управления версиями

• pip-audit: проверка уязвимостей в зависимостях
• pip-outdated: поиск устаревших пакетов
• pre-commit: автоматическая проверка перед коммитом
• tox: тестирование на разных версиях Python
• Docker: изоляция и фиксация всех версий

Выводы

Отслеживание версий компонентов (Python, libraries, frameworks, databases) — критически важно для:

• Безопасности (уязвимости в старых версиях)
• Совместимости (конфликты между версиями)
• Надёжности (баг-фиксы и улучшения)
• Воспроизводимости (одинаковые окружение везде)

Используй requirements.txt, Docker, CI/CD и инструменты для сканирования уязвимостей, чтобы всегда знать какие версии используются в проекте.