Что важнее precision или recall для определения порога для отправления объявления на ручную модерацию?

Precision vs Recall при модерации объявлений

TL;DR

Для отправки объявлений на ручную модерацию: RECALL важнее, чем Precision.

Потому что пропустить опасное объявление (False Negative) дороже, чем отправить безопасное на доп. проверку (False Positive).

Определения

Precision — из всех объявлений, которые мы пометили как нужные на модерацию, какой % действительно нуждаются?

Precision = TP / (TP + FP)
          = Правильные предсказания / Все предсказания на модерацию

Пример: Мы отправили 100 объявлений на модерацию. 80 из них действительно были плохие (нужна модерация). 20 были хорошие. Precision = 80/100 = 0.8 = 80%

Recall — из всех действительно плохих объявлений, какой % мы поймали?

Recall = TP / (TP + FN)
       = Правильные предсказания / Все объявления которые нужна модерация

Пример: В датасете всего 150 плохих объявлений. Мы поймали 80 из них. 70 пропустили (они прошли в feed без модерации). Recall = 80/150 = 0.53 = 53%

Анализ затрат

False Positive (Precision) — отправили хорошее объявление на модерацию

• Платим модератору за проверку (~0.5-1 рубль)
• Задержка в публикации
• Стоимость: LOW (~1 рубль на объявление)

False Negative (Recall) — пропустили плохое объявление

• Репутационный урон платформы
• Юридические проблемы (запрещённые товары, мошенничество)
• Потеря пользователей
• Блокировка от платёжных систем
• Стоимость: ULTRA HIGH (~1000-100000 рублей за одно пропущенное опасное объявление)

Соотношение затрат:

Cost(False Negative) / Cost(False Positive) = 1000+ : 1

Поэтому для модерации: Recall ≥ 0.95, Precision можно пожертвовать (даже 50% OK)

Реальный пример

Исходные данные:

• Всего объявлений: 100,000
• Хорошие: 95,000 (95%)
• Плохие: 5,000 (5%)

Модель 1 (Recall = 60%, Precision = 70%):

• Пометила на модерацию: 7,000
• Правильно: 4,900 (TP)
• Ошибочно: 2,100 (FP)
• Пропустила: 1,000 плохих (FN)

Затраты на модератора: 7,000 * 50р = 350,000р Урон от пропущенных (10 критических объявлений * 50,000р) = 500,000р Итого: 850,000р

Модель 2 (Recall = 90%, Precision = 40%):

• Пометила на модерацию: 12,500
• Правильно: 4,500 (TP)
• Ошибочно: 8,000 (FP)
• Пропустила: 500 плохих (FN)

Затраты на модератора: 12,500 * 50р = 625,000р Урон от пропущенных (5 критических * 50,000р) = 250,000р Итого: 875,000р

Вывод: Модель 2 немного дороже, но намного безопаснее для платформы.

Рекомендация для интервью

Ответ должен содержать:

1. Определение обоих метрик
2. Понимание бизнеса — False Negative дороже
3. Cost Analysis — 1000:1 соотношение затрат
4. Практический пример — выбор threshold
5. Метрики для мониторинга — Recall ≥ 95%, Precision 30-50%
6. Trade-off осознание

Финальный ответ: Для модерации объявлений Recall критически важнее, потому что пропустить опасный контент стоит платформе намного больше, чем отправить хорошее объявление на лишнюю проверку. Я бы установил порог, при котором ловим минимум 95% проблемных объявлений (Recall ≥ 0.95), даже если это означает, что 50% отправляемых на модерацию окажутся ложными срабатываниями. Это имеет смысл с точки зрения затрат и репутации платформы.