Почему случайный лес не переобучается?

Почему случайный лес устойчив к переобучению?

Главный механизм: Ensemble + Bootstrap + Random Subspace

Случайный лес (Random Forest) устроен так, чтобы снизить дисперсию и избежать переобучения на одном датасете. Вот как это работает:

1. Bootstrap Aggregating (Bagging)

Каждое дерево в лесу обучается на случайной выборке с повторениями из исходного датасета:

# Каждое дерево видит примерно 63.2% уникальных образцов
# Остальные 36.8% (OOB — Out-Of-Bag) не видит
import numpy as np
from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(n_estimators=100, oob_score=True)
rf.fit(X_train, y_train)
print(f"OOB Score: {rf.oob_score_}")

Это создает разнообразие: каждое дерево видит слегка разные данные, поэтому переобучается на разных шумных паттернах.

2. Random Feature Selection (случайный выбор признаков)

При построении каждого сплита дерева выбирается случайное подмножество признаков (по умолчанию sqrt(n_features)):

• Это заставляет разные деревья использовать разные признаки
• Одно дерево может переобучиться на шуме в одном признаке, но другие деревья этого не сделают
• Усреднение результатов сотни деревьев отменяет ошибки отдельных

3. Предел глубины дерева

Хотя отдельное дерево может расти до листьев (полностью запомнить данные), большинство деревьев в лесу имеют ограниченную глубину. Это естественно снижает риск переобучения.

4. Численное доказательство

Предположим:

• Каждое дерево переобучается на 70% (error = 30% на тесте)
• Но ошибки независимы (разные деревья ошибаются по разным причинам)

# Усреднение независимых предсказаний снижает дисперсию
# Если ошибки независимы: Var(mean) = Var/n
# С 100 деревьями дисперсия падает в 10 раз

Почему это не гарантирует отсутствие переобучения?

⚠️ Важно: Random Forest всё ещё может переобучиться, если:

• Слишком много признаков → деревья найдут корреляции в шуме
• Слишком много деревьев → избыточность не помогает
• Несбалансированные данные → модель смещена

Именно поэтому важны:

• max_depth, min_samples_leaf для ограничения сложности
• Перекрёстная проверка для оценки реальной ошибки
• OOB Score для встроенной валидации

Практический пример

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

rf = RandomForestClassifier(n_estimators=100, max_depth=10, random_state=42)
scores = cross_val_score(rf, X, y, cv=5)

print(f"CV Score: {scores.mean():.3f} (+/- {scores.std():.3f})")
print(f"OOB Score: {rf.oob_score_:.3f}")

Вывод: Random Forest устойчив к переобучению благодаря комбинации трёх факторов: различные подмножества данных, различные подмножества признаков и усреднение предсказаний множества слабо скоррелированных моделей.