Из чего состоит система тестирования

Система тестирования

Система тестирования — это совокупность инструментов, процессов, людей и окружений, которые работают вместе для обеспечения качества программного обеспечения. Это не просто запускание тестов — это целая экосистема.

1. Люди (Team)

QA Engineer (QA Инженер):

• Планирует тестирование
• Пишет тест кейсы
• Выполняет manual тестирование
• Создаёт автотесты
• Находит и документирует баги

SDET (Software Development Engineer in Test):

• Пишет автоматизированные тесты
• Создаёт фреймворки для тестирования
• Оптимизирует pipeline
• Интеграция CI/CD

QA Lead / QA Manager:

• Управляет командой QA
• Планирует стратегию тестирования
• Отчёт о качестве stakeholder'ам
• Риск-анализ

Performance Tester:

• Нагруженное тестирование
• Анализ bottleneck'ов
• Оптимизация производительности

Security Tester / Pentester:

• Тестирование на уязвимости
• Проверка OWASP Top 10
• Penetration testing

2. Окружения (Environments)

Development окружение:

• На машине разработчика
• Локально запущена БД и микросервисы
• Быстрая feedback loop

Testing окружение (QA Environment):

• Копия production, но изолирована
• Тестовые данные вместо реальных
• Стабильно, чтобы тесты не были flaky
• Обычно несколько (smoke, staging, pre-prod)

Staging окружение:

• Максимально близко к production
• Реальные объёмы данных
• Финальная проверка перед release

Production окружение:

• Реальная система с реальными пользователями
• Smoke тесты и monitoring
• Production баги отлавливаются через алерты

Performance Lab:

• Выделенное окружение для нагрузочного тестирования
• Контролируемые параметры сети
• Специальное оборудование

3. Инструменты (Tools)

Управление тест кейсами:

• TestRail, Zephyr, qTest
• Хранят тест кейсы и результаты

Автоматизация UI:

• Selenium, Playwright, Cypress
• Для веб-приложений
• Appium для мобильных

Автоматизация API:

• Postman, REST Assured, pytest
• Тестирование REST/GraphQL

Unit тестирование:

• pytest (Python), Jest (JavaScript), JUnit (Java)
• Тестируют отдельные функции

Нагруженное тестирование:

• JMeter, Locust, Gatling
• Имитируют большое количество пользователей

Bagtracking и Issue tracking:

• Jira, Linear, GitHub Issues
• Регистрация и отслеживание багов

CI/CD Pipeline:

• Jenkins, GitLab CI, GitHub Actions
• Автоматический запуск тестов

Мониторинг и логирование:

• ELK Stack (Elasticsearch, Logstash, Kibana)
• Prometheus, Grafana
• CloudWatch

Код анализ:

• SonarQube — quality gates
• Coveralls — code coverage
• Ruff — linting

4. Процессы (Processes)

Планирование:

• Анализ требований
• Определение scope
• Создание тест плана
• Оценка времени

Разработка тестов:

• Написание тест кейсов
• Написание автотестов
• Создание тестовых данных
• Maintenance автотестов

Выполнение:

• Manual тестирование
• Запуск автотестов в CI/CD
• Анализ результатов
• Регрессия

Баг Tracking:

• Документирование найденных багов
• Присвоение priority
• Отслеживание fixes
• Retesting после fix'a

Отчётность:

• Метрики качества
• Coverage отчёты
• Bug тренды
• Risk assessment

5. Метрики и KPI

Качество:

• Количество багов
• Severity распределение
• Bug Escape Rate (баги, найденные в production)

Покрытие:

• Code coverage %
• Requirement coverage %
• Feature coverage %

Эффективность:

• Количество тестов
• Среднее время выполнения теста
• Stability (flaky tests %)

Производительность:

• Response time
• Throughput
• Error rate

6. Типы тестирования

По технике:

• Black-box (функциональное)
• White-box (unit, структурное)
• Gray-box (интеграционное)

По уровню:

• Unit (функции)
• Integration (компоненты)
• System (весь сервис)
• E2E (полный путь пользователя)

По типу:

• Functional (работает ли как задумано)
• Non-functional:
  • Performance
  • Security
  • Usability
  • Accessibility
  • Compatibility
  • Reliability

По фазе:

• Smoke (базовая функциональность после деплоя)
• Sanity (проверка основного функционала)
• Regression (старое не сломалось)
• UAT (пользователи принимают)
• Production validation

7. Архитектура тестирования

Пирамида тестирования:

     E2E (10%)
   Integration (20%)
 Unit tests (70%)

Почему эта пропорция:

• Unit тесты быстрые и дешёвые
• Integration тесты медленнее
• E2E тесты самые дорогие и медленные

8. Best Practices

Организация:

• Разделяй тесты по слоям (unit, integration, e2e)
• Используй Page Object паттерн
• DRY — не дублируй код в тестах

Надёжность:

• Избегай flaky tests
• Используй explicit waits вместо sleep
• Изолируй тесты (не зависят друг от друга)

Скорость:

• Распараллель выполнение тестов
• Используй тестовые контейнеры
• Кэшируй результаты

Maintenance:

• Ревьюируй тесты как обычный код
• Удаляй неиспользуемые тесты
• Обновляй при изменении функционала

9. Интеграция со разработкой

TDD (Test-Driven Development):

• Сначала пишешь тест (RED)
• Потом пишешь код (GREEN)
• Потом рефакторишь (REFACTOR)

BDD (Behavior-Driven Development):

• Тесты писаны на понятном языке (Gherkin)
• Cucumber, Behave
• Связывают QA и бизнес требования

Полная картина

Система тестирования — это комплекс:

• Люди: QA, SDET, тестеры
• Инструменты: автоматизация, CI/CD, мониторинг
• Окружения: dev, qa, staging, prod
• Процессы: планирование, исполнение, отчётность
• Метрики: quality gates, coverage, bagtrends
• Стратегия: какие тесты, когда, как часто

Все эти компоненты должны работать согласованно для обеспечения качества и уверенности в том, что релиз пройдёт без проблем.