Что значит mAP@0.5, mAP@0.5:0.95 в детекции?

Что такое mAP в задачах детекции объектов?

mAP (mean Average Precision) — это основная метрика оценки качества моделей детекции объектов. Она объединяет точность (Precision) и полноту (Recall) в одну числовую оценку от 0 до 1.

mAP@0.5 — строгая метрика

mAP@0.5 означает, что объект считается корректно обнаруженным, если IoU (Intersection over Union) его bounding box с ground truth ≥ 0.5. IoU измеряет перекрытие предсказанного и истинного прямоугольника:

IoU = Площадь пересечения / Площадь объединения

Это метрика строгая — локализация объекта должна быть достаточно точной. На практике IoU=0.5 означает хорошее совпадение, но не идеальное.

mAP@0.5:0.95 — строгая метрика

mAP@0.5:0.95 (или mAP@[0.5:0.95]) — это усреднённый mAP для множества пороговых значений IoU:

• 0.5, 0.55, 0.60, 0.65, 0.70, 0.75, 0.80, 0.85, 0.90, 0.95

Для каждого порога считается отдельный mAP, затем они усредняются. Это гораздо более требовательная метрика, так как включает очень строгие пороги (0.90, 0.95).

Практическое сравнение

Возьмём модель на COCO датасете (стандарт компьютерного зрения):

Средняя модель YOLO v8n:
- mAP@0.5 ≈ 55%
- mAP@0.5:0.95 ≈ 37%

Разница в 18% показывает, что модель предсказывает объекты приблизительно, но при высоких требованиях к локализации (IoU > 0.8) качество падает.

Когда какую метрику использовать?

mAP@0.5:

• Грубые задачи (классификация с локализацией)
• Когда достаточно примерного положения объекта
• Быстрая оценка в разработке

mAP@0.5:0.95:

• Индустриальные приложения (хирургия, беспилотники)
• Конкурсы (COCO Challenge требует именно эту метрику)
• Высокие требования к точности локализации
• Сравнение моделей по единому стандарту

Как считается Average Precision?

1. Сортируем предсказания по уверенности (confidence)
2. Для каждого порога считаем TP (истинно положительные) и FP (ложно положительные)
3. Вычисляем Precision и Recall на каждом уровне
4. Строим P-R кривую
5. AP = площадь под кривой
6. Усредняем по всем классам объектов

Вывод: mAP@0.5:0.95 — это строже и честнее, но mAP@0.5 проще понять на старте. Для production используй @0.5:0.95.