Сколько нужно Instance, чтобы обеспечить CI\CD?

CI/CD инфраструктура: сколько инстансов нужно?

Этот вопрос о практическом опыте DevOps и инфраструктуры. Это не просто технический вопрос, а вопрос о масштабировании разработки.

Минимальная setup: 3 инстанса

Для небольшой команды (5-15 разработчиков) нужно минимум 3 инстанса:

1. Jenkins / GitLab CI Runner  (main CI server)
   - Запускает тесты
   - Собирает артефакты
   - Требования: 4 CPU cores, 8GB RAM

2. Staging сервер (pre-production)
   - Deploy перед production
   - Full stack (приложение + БД)
   - Требования: 2 CPU cores, 4GB RAM

3. Production сервер
   - Для пользователей
   - Требования: зависят от нагрузки

Мой реальный проект: детально

Команда: 20 разработчиков, 3 микросервиса, medium нагрузка

Инстансов нужно было 8:

1. Jenkins Master (Control plane)
   - Оркеструация пайпланов
   - Хранение артефактов
   - 4 CPU cores, 16GB RAM

2-3. Jenkins Agent 1-2 (для параллельных юнит-тестов)
   - Запуск тестов
   - Каждый: 4 CPU cores, 8GB RAM
   - Причина: параллельность (несколько разработчиков коммитят одновременно)

4. Staging сервер (полная копия production)
   - UserService staging
   - OrderService staging
   - PaymentService staging
   - БД staging
   - 4 CPU cores, 16GB RAM

5-6. Production серверы (2 инстанса + LB)
   - UserService prod replica 1
   - OrderService prod replica 1
   - PaymentService prod replica 1
   - Каждый: 8 CPU cores, 16GB RAM

7. Database server (production)
   - PostgreSQL основной
   - Требования: 8 CPU cores, 32GB RAM

8. Monitoring & Logging
   - Prometheus
   - Grafana
   - ELK Stack
   - 2 CPU cores, 8GB RAM

Детальный breakdown по фазам

Фаза 1: Build & Test

Разработчик пушит код → GitHub
   ↓
Webhook → Jenkins Master
   ↓
Jenkins Agent 1:
  1. Checkout код (git clone)
  2. mvn clean install (компилирование)
  3. mvn test (юнит-тесты) — ~5 минут
  4. SonarQube анализ — ~3 минут
   ↓
Нужно агентов: MIN 1, OPTIMAL 2

Почему 2 агента?

• Если 2 разработчика коммитят одновременно, нужна параллельность
• При 1 агенте второй должен ждать

Фаза 2: Build Artifact

После успешных тестов:
Jenkins Master:
  1. Создать Docker image: openjdk:21 + JAR
  2. Push в registry (Docker Hub / ECR)
  3. Версионирование (v1.2.3)

Нужно на master сервере: 20GB storage для артефактов, достаточно 4GB RAM.

Фаза 3: Deploy to Staging

Деплой на staging сервер:

Staging инстанс:
  1. Pull Docker image из registry
  2. Запустить контейнеры
  3. Запустить интеграционные тесты (Testcontainers)
  4. Проверить health endpoints

Время: ~5 минут
Требования: 4 CPU cores (для параллельного запуска тестов), 16GB RAM

Почему staging критичен?

• Проверка совместимости БД миграций
• Интеграционные тесты (реальные сервисы)
• Smoke тесты (базовая функциональность)
• Пока разработка идёт, staging уже протестирован

Фаза 4: Manual Testing (опционально)

QA тестирует на staging:
- Функциональное тестирование
- Регрессионное тестирование
- Пользовательский интерфейс

Время: 1-2 часа
Требует: staging инстанса, доступного для QA

Фаза 5: Deploy to Production

После одобрения:

Production инстансы (2 replicas):
  1. Deploy replica 1 (с load balancer перенаправляет на replica 2)
  2. Запустить health check
  3. Постепенно переводить трафик на replica 1
  4. Deploy replica 2
  5. Полная готовность

Время: ~10 минут (zero downtime)
Требования: 2 инстанса для redundancy

Куда делся инстанс #8 (Monitoring)?

Мониторинг инфраструктуры очень важен!

Prometheus (сбор метрик):
- От каждого production сервера
- От каждого микросервиса
- От БД

Графана (визуализация):
- Dashboards для разработчиков
- Alerts для оп-команды

ELK Stack (логирование):
- Elasticsearch - хранилище логов
- Logstash - парсинг логов
- Kibana - поиск и анализ

Этот инстанс помогает:
- Быстро найти проблемы в production
- Анализировать performance
- Прогнозировать проблемы

Альтернатива: облачное решение (AWS, GCP)

Вместо физических инстансов можно использовать:

1. AWS CodePipeline (Jenkins → Lambda → EC2)
   - Fully managed CI/CD
   - Платишь только за использование
   - Масштабируется автоматически

2. EC2 для staging:
   - Auto Scaling Group
   - Можно масштабировать автоматически

3. ECS/EKS для production:
   - Kubernetes управляет контейнерами
   - Auto scaling на основе нагрузки

4. RDS для БД:
   - Managed service
   - Automatic backups
   - Failover

Затраты: часто дешевле, чем физ. серверы
Особенно для стартапов.

Оптимизация: как сэкономить?

Вариант 1: Совместить инстансы

Инстанс 1 (большой):
  - Jenkins Master (0.5 CPU, 4GB RAM)
  - Monitoring (0.5 CPU, 4GB RAM)
  - Artifact Storage (не требует CPU)
  Итого: 1 CPU, 8GB RAM (используется ~30%)

Инстанс 2: Jenkins Agent
Инстанс 3: Staging
Инстанс 4-5: Production (2 replica)
Инстанс 6: Database

Итого: 6 инстансов вместо 8
Экономия: ~30%

Вариант 2: Kubernetes

Вместо инстансов, можно использовать Kubernetes кластер:

Kubernetes Cluster (3 master nodes + 5 worker nodes):
  - Jenkins (pod)
  - Staging (pods)
  - Production (pods с replicas)
  - Monitoring (pods)
  - Database (stateful pod или отдельный RDS)

Преимущества:
- Лучшее использование ресурсов
- Автоматическое масштабирование
- Zero downtime deployments

Минусы:
- Сложность
- Требует expertise
- Начальные затраты на setup

Рекомендации по размеру инстансов

Для разных размеров команд

Стартап (1-5 разработчиков):
- 3 инстанса (Jenkins + Staging + Prod)
- Или облачное решение (дешевле)
- Инстансы: t3.medium (2 CPU, 4GB RAM)

SMB (5-20 разработчиков):
- 5-7 инстансов (как в моем примере)
- Jenkins + Staging + 2x Prod + DB + Monitoring
- Инстансы: t3.large (2 CPU, 8GB RAM) для большинства

Enterпрайз (50+ разработчиков):
- 10+ инстансов
- Kubernetes кластер
- Multiple staging environments
- High availability setup

Моя финальная рекомендация для вашего сценария

Если нужно начинать с нуля:

Вариант A: Physical / VPS servers
1. Jenkins master: 4 CPU, 16GB RAM
2. Jenkins agents (2): 4 CPU, 8GB RAM каждый
3. Staging: 4 CPU, 16GB RAM
4. Production (2 replicas): 8 CPU, 16GB RAM каждый
5. Database: 8 CPU, 32GB RAM
6. Monitoring: 2 CPU, 8GB RAM

Бюджет: $2,000-3,000/месяц

Вариант B: Облако (AWS)
1. CodePipeline (managed)
2. EC2 для staging + prod
3. RDS для БД
4. CloudWatch для monitoring

Бюджет: $500-1,500/месяц (зависит от нагрузки)

Вариант C: Kubernetes на облаке (EKS)
1. Kubernetes кластер (управляемый)
2. Pods для всех сервисов
3. RDS для БД
4. Auto-scaling

Бюджет: $800-2,000/месяц

Вывод

Минимум: 3 инстанса (CI, Staging, Prod) Оптимально: 6-8 инстансов для medium компании Максимум: Kubernetes кластер для большой инфраструктуры

В моем проекте 8 инстансов была правильная цифра для 20 разработчиков. Меньше — было бы узким местом. Больше — было бы переусложнением.