Что такое Non-fuctional testing?

Что такое Non-functional Testing?

Non-functional testing — это тип тестирования программного обеспечения, который оценивает характеристики системы, не связанные с её основными функциями или бизнес-логикой. В отличие от функционального тестирования (functional testing), которое проверяет, что система делает («что»), non-functional testing проверяет, как система работает («как»). Его цель — убедиться, что система соответствует заданным критериям качества, связанным с поведением, производительностью и эксплуатацией в реальных условиях.

Ключевые цели и особенности

Основная цель non-functional testing — оценка готовности системы к реальному использованию, учитывая поведение пользователя, нагрузку и условия среды. Его особенности:

• Оценивает «как»: Проверяет качество работы системы, её надежность и удобство использования.
• Часто количественно: Результаты часто выражаются в числах (например, время ответа, количество поддерживаемых пользователей).
• Требует специальных условий: Может нуждаться в отдельном тестовом окружении, имитирующем реальную нагрузку и инфраструктуру.
• Проводится после или параллельно с функциональным тестированием, когда основные функции уже работают.

Основные типы Non-functional Testing

Non-functional testing охватывает множество направлений. Ниже приведены ключевые типы:

1. Тестирование производительности (Performance Testing)

Оценивает скорость, время ответа, стабильность и эффективность использования ресурсов системы под различной нагрузкой. Подразделяется на:

• Load Testing: Проверка поведения системы под ожидаемой или повышенной нагрузкой.
• Stress Testing: Проверка пределов системы при экстремальной нагрузке, чтобы найти точку разрыва.
• Spike Testing: Имитация резкого, кратковременного увеличения нагрузки.
• Endurance/Soak Testing: Длительное тестирование под средней нагрузкой для обнаружения проблем, таких как утечки памяти.

# Пример простой концепции теста производительности для измерения времени ответа API
import time
import requests

def test_api_response_time(url):
    start_time = time.time()
    response = requests.get(url)
    end_time = time.time()

    response_time_ms = (end_time - start_time) * 1000
    print(f"URL: {url}, Response Time: {response_time_ms:.2f} ms, Status: {response.status_code}")
    # Критерий приемки: время ответа < 500 мс
    assert response_time_ms < 500, f"Response time {response_time_ms:.2f} ms exceeds 500 ms limit!"

2. Тестирование безопасности (Security Testing)

Проверка системы на уязвимости, риски и потенциальные угрозы для защиты данных и функционала. Включает:

• Авторизация и аутентификация
• Шифрование данных
• Уязвимости (SQL injection, XSS, CSRF)

3. Тестирование удобства использования (Usability Testing)

Оценка того, насколько система понятна, удобна и эффективна для конечного пользователя. Проверяет:

• Интуитивность интерфейса
• Эффективность выполнения задач
• Восприятие и удовлетворение пользователя

4. Тестирование совместимости (Compatibility Testing)

Проверка работы системы в различных средах:

• Cross-browser testing: Работа в разных браузерах (Chrome, Firefox, Safari).
• Cross-platform testing: Работа на разных ОС (Windows, macOS, Linux, мобильные ОС).
• Cross-device testing: Работа на разных устройствах (десктоп, планшет, мобильный телефон).

5. Тестирование надежности (Reliability Testing)

Оценка способности системы безотказно выполнять свои функции в заданных условиях за определенный период времени. Проверяет стабильность и устойчивость к сбоям.

6. Тестирование масштабируемости (Scalability Testing)

Проверка способности системы увеличивать свою производительность при добавлении ресурсов (например, серверов, процессоров, памяти).

7. Тестирование восстановления (Recovery Testing)

Оценка способности системы восстанавливаться после сбоев (например, после падения сервера, сетевого отказа) и возвращаться в нормальное состояние.

8. Тестирование установки/деинсталляции (Installation/Uninstallation Testing)

Проверка процессов установки и удаления программного продукта на целевых платформах.

Почему Non-functional Testing критически важно?

• Пользовательский опыт: Плохая производительность или неудобный интерфейс приводят к потере пользователей.
• Риск и безопасность: Уязвимости могут привести к финансовым потерям и репутационным рискам.
• Стабильность бизнеса: Ненадежная система может парализовать бизнес-процессы.
• Контрактные обязательства: Часто требования к производительности и безопасности являются частью договоров с клиентами.

Пример процесса тестирования производительности (Performance Testing)

1. Планирование: Определить цели (например, время ответа API < 200 мс при нагрузке 1000 пользователей).
2. Выбор инструментов: Например, JMeter для нагрузочного тестирования, Gatling для высокопроизводительных тестов.
3. Создание тестовых сценариев: Моделирование поведения пользователей.
4. Настройка тестового окружения: Аналогичное Production по инфраструктуре.
5. Выполнение тестов: Запуск с различными уровнями нагрузки.
6. Анализ результатов и отчетность: Выявление узких мест (базы данных, код, сеть).
7. Оптимизация и повторное тестирование.

# Пример запуска простого нагрузочного теста с помощью Apache JMeter (команда в CLI)
jmeter -n -t load_test_plan.jmx -l results.jtl -e -o report_folder/

Инструменты для Non-functional Testing

• Производительность: Apache JMeter, Gatling, LoadRunner, k6.
• Безопасность: OWASP ZAP, Burp Suite, Nessus, SQLmap.
• Совместимость: Selenium Grid, BrowserStack, Sauce Labs.
• Удобство использования: инструменты для сбора обратной связи, аналитики поведения пользователей.

Сложности в Non-functional Testing

• Высокие затраты: Специализированные инструменты и инфраструктура могут быть дорогими.
• Необходимость экспертизы: Требует глубоких знаний в конкретных областях (например, безопасность, сетевые протоколы).
• Трудность измерения некоторых аспектов: Например, удобство использования часто субъективно.
• Репрезентативность тестового окружения: Окружение должно максимально соответствовать Production для точных результатов.

Non-functional testing является неотъемлемой частью обеспечения качества современного программного обеспечения. Он напрямую влияет на удовлетворенность пользователей, безопасность данных и репутацию продукта в долгосрочной перспективе. Интеграция non-functional testing в процесс разработки на ранних стадиях (например, в рамках процесса CI/CD) позволяет предотвращать серьезные проблемы до выпуска продукта.