На каком этапе обычно подготавливается инфраструктура для развертывания приложения

Подготовка инфраструктуры для развертывания приложения

В моём опыте инфраструктура подготавливается на ранних этапах разработки, но последовательно расширяется по мере движения проекта. Рассмотрю полный цикл.

Фаза 1: Планирование и дизайн (до кодирования)

Что делается:

• Определяем требования по вычислительной мощности (CPU, GPU, RAM)
• Выбираем облачного провайдера (AWS, GCP, Azure, Yandex Cloud)
• Планируем 架構 (dev, staging, production окружения)
• Выбираем инструменты CI/CD (GitLab CI, GitHub Actions, Jenkins)

# Пример оценки ресурсов
requirements = {
    'dev': {'cpu': 2, 'ram': 4, 'gpu': False},
    'staging': {'cpu': 4, 'ram': 8, 'gpu': True},  # для тестирования с моделью
    'production': {'cpu': 8, 'ram': 16, 'gpu': True}  # для реальной работы
}

Фаза 2: Ранняя разработка (параллельно с кодированием)

Что делается:

• Создаём Docker контейнер с зависимостями
• Настраиваем базу данных (PostgreSQL, MongoDB)
• Готовим хранилище артефактов (S3, GCS) для моделей и данных
• Создаём простой CI/CD пайплайн для автоматического деплоя на dev

# Пример Dockerfile для Data Science приложения
FROM python:3.10-slim

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

CMD ["python", "-m", "uvicorn", "app:app", "--host", "0.0.0.0"]

Фаза 3: Тестирование (перед production)

Что делается:

• Развёртываем на staging для полного тестирования
• Настраиваем логирование и мониторинг (ELK, Prometheus, DataDog)
• Готовим alerting для критических ошибок
• Проверяем нагрузочное тестирование (load testing)

# Пример настройки логирования
import logging
import sys

logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    handlers=[
        logging.FileHandler('app.log'),
        logging.StreamHandler(sys.stdout)
    ]
)
logger = logging.getLogger(__name__)

Фаза 4: Перед production (финальная подготовка)

Что делается:

• Готовим автоскейлинг (на основе нагрузки)
• Настраиваем health checks и graceful shutdown
• Готовим backup и disaster recovery план
• Документируем процедуры деплоя

# Пример Kubernetes deployment
apiVersion: apps/v1
kind: Deployment
metadata:
  name: ml-model-api
spec:
  replicas: 3
  selector:
    matchLabels:
      app: ml-model-api
  template:
    metadata:
      labels:
        app: ml-model-api
    spec:
      containers:
      - name: api
        image: my-ml-app:v1.0
        resources:
          requests:
            cpu: 500m
            memory: 1Gi
          limits:
            cpu: 2000m
            memory: 4Gi
        livenessProbe:
          httpGet:
            path: /health
            port: 8000
          initialDelaySeconds: 30

Фаза 5: Production (постоянная поддержка)

Что делается:

• Мониторим performance метрики модели (accuracy дрифт, latency)
• Отслеживаем дрифт данных (distribution shift)
• Готовим механизм откатки предыдущей версии
• Планируем переобучение модели (переодичность)

# Мониторинг дрифта данных
def check_data_drift(current_data, reference_data):
    from scipy.stats import ks_2samp
    
    for column in current_data.columns:
        stat, p_value = ks_2samp(reference_data[column], current_data[column])
        if p_value < 0.05:
            print(f"⚠️ Дрифт в {column}")
        else:
            print(f"✓ {column} стабилен")

Типичная временная шкала

Мой опыт

Оптимальный подход — готовить инфру рано, но не переусложнять:

1. Неделя 1 — локальный Docker контейнер
2. Неделя 2 — базовый CI/CD для dev
3. Неделя 3 — staging похожа на production
4. Перед release — полный production setup

Это позволяет быстро итерировать на ранних этапах, но быть готовым к production уже при первом деплое.