Какой алгоритм бинарной классификации выбрать: у которого рост отложенной выборки 0.8 или 0.1?

# Выбор между моделями: рост отложенной выборки 0.8 vs 0.1

Интерпретация вопроса

"Рост отложенной выборки" — это разница между качеством на training set и test set (отложенная выборка):

Gap = Train Score - Test Score

Модель 1: Gap = 0.8 (огромное переобучение)
Модель 2: Gap = 0.1 (хорошая генализация)

Ответ: ВЫБИРАЕМ МОДЕЛЬ 2 (с gap = 0.1)

Почему это критично?

Модель 1 (gap = 0.8)

Пример:

• Train accuracy: 99%
• Test accuracy: 19%
• Gap: 0.80

Проблема: Модель идеально выучила training данные, но совершенно не обобщается на новые данные. На реальных клиентских данных будет работать ужасно.

Модель 2 (gap = 0.1)

Пример:

• Train accuracy: 89%
• Test accuracy: 79%
• Gap: 0.10

Преимущество: Модель стабильна, хорошо обобщается. На новых данных в production будет работать примерно также, как на test.

Что это значит для production?

Тренировка модели — это как готовиться к экзамену:

Модель 1 (gap = 0.8):
- Выучила все вопросы из прошлогодних тестов (99%)
- Но на реальном экзамене с новыми вопросами — завалит (19%)
- На работе — полезна ноль

Модель 2 (gap = 0.1):
- Знает основы, может решать похожие задачи (79-89%)
- На новых примерах — работает примерно одинаково
- На работе — полезна и надёжна

Проблема переобучения (Overfitting)

Когда модель переобучена:

• Запоминает особенности training данных (шум, выбросы)
• Не учит общие паттерны
• На новых данных работает плохо
• Gap большой (train >> test)

Это как студент, который выучил ответы на конкретные вопросы, но не понял материал.

Как избежать переобучения?

1. Регуляризация (L1, L2, weight decay) — штраф за сложные модели
2. Early Stopping — остановить обучение, когда test score перестаёт расти
3. Shallow models — меньше параметров (max_depth меньше, fewer layers)
4. Больше данных — легче избежать переобучения с большим датасетом
5. Dropout — для нейронных сетей, отключение случайных нейронов
6. Cross-validation — проверить gap на каждом fold
7. Feature selection — убрать шумные признаки

Когда можно допустить большой gap?

Основное правило: Чем меньше gap, тем лучше

Однако большой gap может быть нормален в редких случаях:

• Очень маленький датасет (<100 примеров)
• Train и test из очень разных распределений
• Очень шумные данные
• Специфическая природа задачи

Но даже тогда нужно попытаться его снизить.

Практический пример

Модель 1: Random Forest с max_depth=20
- Train: 95%, Test: 75%, Gap: 0.20 (переобучена)

Модель 2: Random Forest с max_depth=5
- Train: 85%, Test: 80%, Gap: 0.05 (хорошо обобщается)

Выбираем Модель 2, потому что:
- Test score выше (80% > 75%)
- Gap меньше (0.05 < 0.20)
- На production данных будет стабильнее

Важное замечание

Это называется Bias-Variance Tradeoff:

• High Bias (Low Variance): Модель простая, плохо на train, но стабильна на test (gap маленький)
• Low Bias (High Variance): Модель сложная, отлично на train, плохо на test (gap большой)

Оптимум — в середине: хороший train score И хороший test score.

Вывод

ВЫБИРАЕМ МОДЕЛЬ С GAP = 0.1 потому что:

1. Test score будет выше (практически работающая модель)
2. Gap меньше (более стабильная и надёжная)
3. На новых данных в production будет работать лучше
4. Соответствует bias-variance tradeoff
5. В долгосрочной перспективе более ценна для бизнеса

Модель с gap = 0.8 — просто переобученная и бесполезна в production.