Когда лучше использовать Recall?

# Когда использовать Recall?

Определение Recall

Recall = TP / (TP + FN)

Где:

• TP (True Positive) — мы правильно нашли положительный пример
• FN (False Negative) — мы пропустили положительный пример

Простыми словами

Recall = "Из всех реальных положительных примеров, какой процент мы правильно нашли?"

Примеры:

• Recall = 95% → нашли 95% всех положительных (пропустили 5%)
• Recall = 50% → нашли только половину (пропустили половину)
• Recall = 100% → нашли всех (но может быть много ложных находок)

Когда Recall КРИТИЧНА

1. Медицинская диагностика (Рак)

Сценарий: Модель определяет, есть ли у пациента рак

False Negative (пропустили рак) = СМЕРТЬ пациента → УЖАСНО
False Positive (ложный диагноз) = пересдадим анализы → нормально

Стратегия: Максимизируем Recall

• Целевое значение: Recall > 0.95 (найти как минимум 95% больных)
• Согласны с тем, что будет много ложных диагнозов
• Лучше подстраховаться

2. Детекция мошенничества

Сценарий: Определяем мошеннические платежи

False Negative (пропустили мошенника) = потеря денег
False Positive (ложный шум) = переверим платёж вручную

Стратегия: Высокий Recall (0.90+)

• Лучше заморозить честный платёж и перепроверить
• Чем пропустить мошеннический

3. Поиск дефектов в производстве

Сценарий: Автоматическая проверка качества товаров

False Negative = дефектный товар попадёт к клиенту → потеря репутации
False Positive = переделаем товар без необходимости → небольшая потеря

Стратегия: Recall > 0.95

• Не пропустить ни один дефект

4. Безопасность (Security) и киберпреступления

Сценарий: Определяем вторжения в систему

False Negative = hacker остался незамечен → взлом, кража данных
False Positive = ложная тревога → дополнительная проверка

Стратегия: Recall > 0.99 (почти не пропускаем)

5. Поиск запрещённых материалов

Сценарий: Контент модерация (насилие, порнография, экстремизм)

False Negative = запрещённый контент остался в сети
False Positive = удалили легальный контент (человек обжалует)

Стратегия: Высокий Recall (не пропустить запрещённое)

Когда Recall МЕНЕЕ ВАЖНА (Precision важнее)

Рекомендации товаров

False Positive (показали неподходящий товар) = пользователь недоволен
False Negative (пропустили подходящий) = просто не покупает

Стратегия: Высокий Precision

• Показываем только качественные рекомендации
• Лучше показать 5 идеальных, чем 50 так-себе

Email spam filter

False Positive = потеряли важное письмо = ОЧЕНЬ ПЛОХО
False Negative = спам в inbox = раздражает, но не критично

Стратегия: Очень высокий Precision

• Лучше пропустить спам в inbox
• Чем удалить важное письмо

Визуальное сравнение

Практический пример

# Диагностика рака
100 пациентов: 10 с раком, 90 здоровых

Модель A: очень осторожная
- Диагностирует рак только у 3 из 10 (Recall = 30% ❌ ПЛОХО!)
- Но почти не даёт false positives (Precision = 100%)
- Пропустили 7 раков → они умирают

Модель B: осторожнее
- Диагностирует рак у 9 из 10 (Recall = 90% ✓ ХОРОШО!)
- Много false positives (Precision = 30%)
- Но почти никого не пропустили

>>> ВЫБИРАЕМ МОДЕЛЬ B, несмотря на низкий Precision!

Как выбрать между метриками?

Вопрос: "Что дороже?"

Если дороже FN (False Negative, пропустить положительное):

• Диагностика болезней
• Fraud detection
• Security
• Quality assurance

→ Используй Recall

Если дороже FP (False Positive, неправильно предсказать):

• Email spam
• Content moderation (удаление контента)
• Credit approval
• Реклама (не раздражать пользователя)

→ Используй Precision

Если дороже оба: → Используй F1-score (гармонический mean Precision и Recall)

Ключевой принцип

┌─────────────────────────────────────────────────────┐
│ Recall высокий, когда:                              │
│ FN (пропустить положительное) ДОРОЖЕ              │
│ чем FP (ложное срабатывание)                        │
│                                                       │
│ Примеры: медицина, fraud, security, quality        │
└─────────────────────────────────────────────────────┘

Вывод

Recall используется, когда не пропустить положительные примеры критично для бизнеса или здоровья людей. Это метрика для тех случаев, когда мы готовы пожертвовать точностью ради полноты.