Для чего нужны критерии завершения тестирования?

Критерии завершения тестирования: Зачем они нужны?

Критерии завершения тестирования (Exit Criteria) — это заранее определённый и согласованный набор условий, которые должны быть выполнены, чтобы можно было объективно принять решение о завершении тестирования на определённом этапе (итерации, спринта, стабилизации или всего проекта). Это не субъективное мнение «мы устали тестировать», а измеримая и проверяемая основа для принятия ключевых бизнес-решений.

Основные цели и причины использования

Использование чётких критериев решает несколько фундаментальных проблем в процессе разработки ПО:

1. Объективизация процесса принятия решений. Это главная причина. Без критериев решение о выпуске продукта часто принимается под давлением сроков или мнения отдельных лиц. Критерии переводят вопрос «Готово ли тестирование?» из эмоциональной плоскости в плоскость проверки фактов: «Выполнены ли все оговоренные условия?».

2. Управление рисками и прозрачность. Критерии явно описывают, какой уровень риска (в виде известных дефектов, непокрытых функциональных областей) команда и бизнес считают приемлемым для выпуска. Это даёт всем сторонам (менеджмент, продукт-менеджеры, разработчики) полную картину состояния продукта и связанных с ним рисков.

3. Контроль качества и предотвращение «синдрома сдвига качества». Чёткие критерии не позволяют команде разработки постоянно сдвигать сроки, передавая в тестирование сырой или недоделанный функционал. Они служат «воротом» (gate) для начала фазы тестирования и для выхода из неё.

4. Планирование и оценка трудозатрат. Критерии завершения тестирования тесно связаны с критериями входа в тестирование (Entry Criteria). Вместе они позволяют реалистично планировать сроки и ресурсы. Например, если критерием входа является «успешное прохождение smoke-теста сборки», а критерием выхода — «100% прохождение регрессионного набора», можно оценить время, необходимое на выполнение всех условий.

5. Согласование ожиданий между командами. Разработчики, тестировщики, продакт-оунеры и менеджеры по-разному могут понимать «достаточно протестированный продукт». Критерии, задокументированные и согласованные в начале цикла, устраняют эту неоднозначность.

Какими бывают критерии завершения? (Примеры)

Критерии всегда специфичны для проекта, но их можно классифицировать:

• Критерии, основанные на покрытии:

    *   Выполнено 100% тестовых сценариев, определённых для данного релиза.
    *   Достигнут целевой процент покрытия кода (например, 80% по модульным и интеграционным тестам).
    *   Протестированы все критические пользовательские сценарии (User Journeys).

• Критерии, основанные на качестве (дефектах):

    *   Все критические (Critical) и блокирующие (Blocker) дефекты устранены и перепроверены.
    *   Количество дефектов высокого (High) и среднего (Medium) приоритета не превышает N (например, 5 или 10) и они задокументированы в решении о выпуске.
    *   Стабилизация метрик: количество вновь обнаруживаемых дефектов за последние X дней не превышает Y (например, < 3 за 2 дня).

• Критерии, основанные на процессах и артефактах:

    *   Вся необходимая сопроводительная документация (релиз-ноты, инструкции по установке) подготовлена и проверена.
    *   Выполнены нефункциональные требования (например, производительность, безопасность) и предоставлены отчёты.
    *   Пройдены приемочные тесты (UAT) заказчиком или продукт-менеджером, получено формальное одобрение.

Практический пример: критерии для релиза мобильного приложения

# Пример задокументированных Exit Criteria в соглашении о тестировании (Test Plan)

## Критерии завершения тестирования для версии 2.1.0:

### Функциональные:
1. Все тест-кейсы с приоритетом P0 и P1 (150 штук) выполнены, процент успешного прохождения >= 95%.
2. Автоматизированные smoke-тесты (50 сценариев) выполняются стабильно на последней сборке.

### Дефекты:
1. Отсутствуют открытые дефекты с severity S1 (Critical) и S2 (Major).
2. Количество открытых дефектов S3 (Minor) не превышает 15. Все они задокументированы в Release Notes как известные ограничения.
3. Все дефекты, обнаруженные в последней неделе тестирования, проанализированы; для оставшихся открытыми оценены риски и получено одобрение продукт-менеджера.

### Нефункциональные и другие:
1. Приложение проходит нагрузочный тест с пиковой нагрузкой в 1000 одновременных пользователей (отчёт №PERF-21 прилагается).
2. Релиз-ноты обновлены и содержат информацию о всех новых функциях и известных проблемах.
3. Сборка прошла проверку на соответствие гайдлайнам App Store и Google Play (чек-лист пройден).

Заключение

Критерии завершения тестирования — это не бюрократическая формальность, а инструмент профессионального управления качеством. Они обеспечивают дисциплину, предсказуемость и снижают эмоциональное напряжение при принятии решения о выпуске. Без них процесс тестирования рискует превратиться в бесконечную и бесцельную активность, либо, наоборот, быть грубо прерванным без понимания реальных рисков для бизнеса и пользователей. Их определение и соблюдение — признак зрелого и ответственного подхода к разработке программного обеспечения.