Как будешь объяснять recall бизнесу?

Объяснение Recall для бизнеса

Recall (полнота, чувствительность) — это метрика, которая показывает, какую часть **реальных положительных случаев** модель смогла найти. Для бизнеса это можно объяснить на понятных примерах.

Простое объяснение

Представьте, что ваша модель ищет мошеннические транзакции:

• За день произошло 100 реальных мошеннических транзакций
• Модель обнаружила 80 из них
• Recall = 80/100 = 0.8 (80%)

Это означает: "Из всех мошеннических транзакций модель нашла 80%". Или другими словами, модель пропустила 20% мошенничества.

Бизнес-контекст: почему это важно

Пример 1: Детектирование болезней

В больнице 1000 пациентов, у 100 реально есть опасная болезнь.

Модель нашла болезнь у 90 человек:
- Recall = 90/100 = 90%

ВНИМАНИЕ: 10 больных людей отправлены домой без лечения!
Это опасно, Recall КРИТИЧЕН здесь.

Пример 2: Спам в email

Пришло 1000 писем, из них 100 спам.

Модель отловила 70 спама:
- Recall = 70/100 = 70%

ВНИМАНИЕ: 30 спам-писем попали в Inbox.
Не критично, но раздражающе для пользователя.

Пример 3: Риск-менеджмент

Проверили 500 кандидатов на кредит, 50 из них потом не вернули деньги.

Модель предсказала дефолт у 35 человек:
- Recall = 35/50 = 70%

ВНИМАНИЕ: 15 потенциальных неплательщиков прошли через систему.
Банк потеряет деньги. Нужен высокий Recall!

Как объяснять метрике на встречах

Формула

Recall = Число правильно найденных положительных / Всего реальных положительных

Recall = Истинные Положительные (TP) / (TP + Ложные Отрицательные (FN))

Простой перевод для ненейрошников:

• TP (истинные положительные) = мошеннику мы сказали "ты мошенник" (правильно)
• FN (ложные отрицательные) = мошеннику мы сказали "ты хороший" (ошибка, пропустили)
• Recall = из всех реальных мошенников, сколько мы найти смогли

Таблица для бизнеса

Recall vs Precision: какой выбрать?

Сравнение двух метрик

Recall = TP / (TP + FN)   # Из реальных, сколько нашли?
Precision = TP / (TP + FP) # Из найденных, сколько реальных?

Аналогия для охотника:

Охотник ищет уток в озере:

Recall = Мы нашли 8 из 10 реальных уток (80%)
         Не пропустили ни одну утку

Precision = Из 10 выстрелов, 8 раз попали в утку (80%)
            2 раза пальнули в воду по ошибке

Когда выбрать Recall?

1. Высокая цена пропуска положительного примера:

   • Раковые опухоли (пропустили болезнь = смерть)
   • Мошенничество в банке (пропустили вор = потеря денег)
   • Брак в производстве (пропустили дефект = вернут товар)

2. Бизнес говорит: "Нам важнее НЕ пропустить ни одного..." → используй Recall

Когда выбрать Precision?

1. Высокая цена ложного срабатывания:

   • Email спам (заблокировали нужное письмо = потеря бизнеса)
   • Блокировка легального платежа (отклонили хорошего клиента = обида)
   • Увольнение по подозрению (ошибка = судебный процесс)

2. Бизнес говорит: "Каждый найденный должен быть точно положительный" → используй Precision

Практический пример для встречи

from sklearn.metrics import classification_report, confusion_matrix
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)

y_pred = model.predict(X_test)

print(classification_report(y_test, y_pred, 
      target_names=['Здоров', 'Рак']))

# Output:
#             precision    recall  f1-score   support
# Здоров          0.94      0.93      0.94        59
# Рак             0.97      0.98      0.97       112

Объяснение для врача:

• Recall для рака = 98%
• Значит: из 112 реально больных пациентов, 110 мы выявили
• Пропустили только 2 человека (0.98 от всех больных)
• ДЛЯ ОНКОЛОГИИ ЭТО ХОРОШИЙ РЕЗУЛЬТАТ!

Вывод

Recall — это метрика ответа на вопрос: "Сколько из того, что нужно было найти, мы реально нашли?"

• Высокий Recall = мало пропусков среди положительных случаев
• Выбирай высокий Recall, когда пропуск дорогой
• Балансируй между Recall и Precision с помощью F1-score