На что опирался бы при выборе метрики между ME и MSE?

Выбор между ME и MSE: ключевые критерии

Это классический вопрос о выборе метрик регрессии. Я расскажу о критериях, которыми я руководствуюсь при принятии решения.

Определение метрик

ME (Mean Error):

ME = (1/n) * Σ(y_true - y_pred)

MSE (Mean Squared Error):

MSE = (1/n) * Σ(y_true - y_pred)²

Критерии выбора

1. Чувствительность к выбросам

Это самый важный критерий:

• MSE: штрафует большие ошибки квадратично — выбросы сильно влияют на метрику
• ME: относится к большим ошибкам линейно — более устойчива к выбросам

import numpy as np

y_true = [1, 2, 3, 4, 5]
y_pred = [1.1, 2.1, 3.1, 4.1, 100]  # Последний — выброс

errors = y_true - y_pred
me = np.mean(errors)
mse = np.mean(errors**2)

print(f"ME: {me:.2f}")   # Менее драматично
print(f"MSE: {mse:.2f}")  # Сильно раздута из-за одного выброса

2. Интерпретируемость

• ME: сохраняет единицы измерения целевого признака (если y в рублях, ME тоже в рублях)
• MSE: в квадратах единиц (рубли²), что менее интуитивно
• Для бизнеса часто понятнее RMSE = √MSE

3. Наличие систематического смещения

• ME: сохраняет направление ошибки
  • Положительный ME → модель систематически недопредсказывает
  • Отрицательный ME → систематически перепредсказывает
• MSE: показывает только величину ошибки, без направления

Это важно для диагностики!

4. Математические свойства

• MSE: имеет неприятное свойство — положительные и отрицательные ошибки взаимно компенсируются в ME

  y_true = [0, 0]
  y_pred = [-10, 10]
  
  me = (0 - (-10) + 0 - 10) / 2  # = 0 (кажется, что нет ошибок!)
  mse = (10² + 10²) / 2  # = 100 (правда выявлена)
  

• MSE: более стандартна в теории (производная по параметрам проще, связана с нормальным распределением)

Моя практика выбора

Выбираю MSE/RMSE когда:

1. Выбросы редкие и важны — хочу штрафовать за большие ошибки
2. Нужна теоретическая обоснованность — для оптимизации моделей
3. Стандартная метрика в индустрии — RMSE используется везде
4. Нужна гладкая функция потерь — для gradient-based методов
5. Нет серьёзной проблемы с выбросами в данных

Выбираю ME когда:

1. Много выбросов в данных — нужна робустность
2. Важно выявить систематическое смещение модели
3. Интерпретируемость критична — клиент должен понять метрику
4. Асимметричная ошибка дорогая — недопредсказание или перепредсказание имеют разную стоимость

Альтернативы в реальных задачах

На практике я часто использую:

• MAE (Mean Absolute Error) — линейная метрика, более робустная чем MSE
• MAPE (Mean Absolute Percentage Error) — для интерпретации в %
• Квантильная регрессия — если нужна информация об асимметрии распределения ошибок

Итоговая рекомендация

Правильный подход:

1. Начните с MSE/RMSE (стандарт)
2. Исследуйте остатки (residuals) — есть ли систематическое смещение?
3. Если выбросы критичны → перейдите на MAE или ME
4. Всегда смотрите на распределение ошибок, не только на одну цифру метрики

Это более профессиональный подход, чем просто выбрать одну метрику наугад.