Какие типы ошибок возникают в машинном обучении?

Типы ошибок в машинном обучении

В ML ошибки классифицируются по нескольким основным измерениям. Понимание типов ошибок критично для правильной диагностики и улучшения моделей.

Смещение и дисперсия (Bias-Variance Tradeoff)

Смещение (Bias) — это систематическая ошибка, возникающая из-за слишком простой модели, которая не может захватить сложные закономерности в данных. Например, линейная регрессия на явно нелинейных данных.

• Признаки высокого смещения: низкая точность на обучающем наборе, недообучение (underfitting)
• Источники: неправильные предположения, слишком мало параметров, недостаточно сложная архитектура

Дисперсия (Variance) — это ошибка из-за чрезмерной чувствительности модели к шуму в обучающих данных. Модель запоминает частности вместо общих закономерностей.

• Признаки высокой дисперсии: высокая точность на обучении, низкая на тесте, переобучение (overfitting)
• Источники: слишком много параметров, недостаточно данных, отсутствие регуляризации

Ошибки по типам данных

Ошибка обучающего набора (Training Error) — среднее отклонение на примерах, которые видела модель. Если она высока, модель недообучена.

Ошибка тестового набора (Test Error) — ошибка на невидимых данных. Это то, что реально важно.

Ошибка валидационного набора — используется для подбора гиперпараметров во время обучения, чтобы не подглядывать в тестовый набор.

Систематические ошибки

Ошибка данных (Data Error)

• Пропущенные значения (Missing Values)
• Выбросы (Outliers)
• Несбалансированность классов
• Неправильная разметка (Labeling Errors)
• Несоответствие распределений между обучением и тестом

Ошибка модели (Model Error)

• Неправильная архитектура
• Плохие гиперпараметры
• Недостаточное обучение
• Ошибка кода (вычислительная ошибка)

Ошибки по источнику шума

Шум Байеса (Bayes Error) — теоретический нижний предел ошибки, вызванный стохастичностью самой задачи. Даже идеальная модель не может достичь нулевой ошибки, если данные содержат противоречия.

Шум данных (Data Noise) — случайные возмущения в признаках или целевой переменной, не связанные с истинной закономерностью.

Ошибки в классификации

False Positive (FP) — модель предсказала положительный класс, но на самом деле отрицательный. Тип I ошибки.

False Negative (FN) — модель предсказала отрицательный класс, но на самом деле положительный. Тип II ошибка.

True Positive (TP) и True Negative (TN) — правильные предсказания.

Метрики:

• Точность (Precision) = TP / (TP + FP)
• Полнота (Recall) = TP / (TP + FN)
• F1-Score = 2 * (Precision * Recall) / (Precision + Recall)

Как бороться с ошибками

Против смещения:

• Увеличить сложность модели
• Добавить больше признаков
• Использовать более продвинутые алгоритмы (нейросети вместо линейной регрессии)

Против дисперсии:

• Собрать больше данных
• Применить регуляризацию (L1, L2, Dropout)
• Уменьшить сложность модели
• Использовать ансамбли (усреднение моделей снижает дисперсию)

Кривая обучения — график, показывающий ошибку в зависимости от размера обучающего набора, помогает диагностировать проблему: если обе кривые (обучение и тест) высокие — смещение, если разрыв большой — дисперсия.