В случае какого алгоритма: бустинга или случайного леса - больше bias

Bias в бустинге vs случайном лесе

Это отличный вопрос, который касается fundamental trade-off между bias и variance в машинном обучении. Ответ: у бустинга больше bias, особенно на начальных стадиях обучения.

Понимание Bias и Variance

Перед тем как сравнивать:

Bias — это ошибка модели, вызванная её неспособностью захватить истинную сложность данных. Высокий bias означает, что модель слишком упрощенная и underfit.

Variance — это колебания предсказаний модели при разных выборках данных. Высокая variance означает, что модель слишком чувствительна к шуму и overfit.

Ошибка = Bias^2 + Variance + Irreducible Error

Случайный лес (Random Forest)

Архитектура: Случайный лес строит множество независимых деревьев решений, каждое на случайной подвыборке данных и случайном подмножестве признаков.

Как работает:

1. Для каждого дерева берётся bootstrap sample (с повторением) из исходных данных
2. На каждом узле выбирается случайное подмножество признаков
3. Деревья выращиваются на полную глубину (обычно без ограничений)
4. Предсказание = среднее (регрессия) или голосование (классификация) всех деревьев

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(
    n_estimators=100,
    max_depth=None,  # Деревья растут полностью
    min_samples_split=2,
    random_state=42
)
rf.fit(X_train, y_train)

Bias в Random Forest: Каждое отдельное дерево может иметь высокий bias (глубокие деревья захватывают сложные паттерны), но усреднение независимых предсказаний снижает общий bias. Random Forest хорошо справляется с нелинейными зависимостями.

Бустинг (Boosting)

Архитектура: Бустинг строит последовательность зависимых слабых обучающихся, каждый из которых пытается исправить ошибки предыдущих.

Как работает:

1. Обучить первую слабую модель (обычно неглубокое дерево)
2. Вычислить остатки/ошибки
3. Обучить новую модель на остатках предыдущей
4. Повторить много раз
5. Финальное предсказание = сумма всех моделей

from sklearn.ensemble import GradientBoostingClassifier

gb = GradientBoostingClassifier(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3,  # Обычно глубина 3-7
    subsample=0.8,
    random_state=42
)
gb.fit(X_train, y_train)

Bias в бустинге: Первые деревья в бустинге обычно неглубокие и имеют высокий bias. Каждое дерево захватывает только часть сигнала. Однако последовательное добавление деревьев постепенно снижает bias.

Прямое сравнение

Random Forest:
- Каждое дерево: высокий bias (но учится много паттернов), низкая variance
- Ансамбль: низкий bias (независимые деревья усредняют)
- Результат: НИЗКИЙ bias, НИЗКАЯ variance

Boosting:
- Первое дерево: ВЫСОКИЙ bias (слабый ученик)
- Последующие деревья: постепенно снижают bias
- Результат: ВЫСОКИЙ bias на начальных шагах → НИЗКИЙ bias в конце, ОЧЕНЬ НИЗКАЯ variance

Почему бустинг начинает с высокого bias

1. Слабые ученики: В бустинге используются намеренно слабые модели (деревья глубины 3-7), чтобы избежать переобучения
2. Последовательность: Первое дерево видит только основной тренд данных, более тонкие паттерны остаются в остатках
3. Шаги обучения: Каждый шаг добавляет малую коррекцию (learning rate обычно 0.1), поэтому нужно много итераций

# Бустинг: нужно достаточно деревьев, чтобы снизить bias
gb_underfitting = GradientBoostingClassifier(n_estimators=5)  # Слишком мало -> HIGH BIAS
gb_good = GradientBoostingClassifier(n_estimators=100)  # Хороший баланс
gb_overfitting = GradientBoostingClassifier(n_estimators=1000)  # Слишком много -> HIGH VARIANCE

Иллюстрация

Предсказываемая функция (истинная зависимость):
y = sin(x) + небольшой шум

1. Одно неглубокое дерево (depth=2):
   Предсказание: прямая линия
   Bias: ОЧЕНЬ ВЫСОКИЙ
   Variance: НИЗКАЯ

2. Random Forest (100 деревьев depth=None):
   Предсказание: хороший синус с небольшим шумом
   Bias: НИЗКИЙ
   Variance: НИЗКАЯ

3. Boosting (5 деревьев, depth=2):
   Предсказание: грубое приближение синуса
   Bias: ВЫСОКИЙ
   Variance: ОЧЕНЬ НИЗКАЯ

4. Boosting (100 деревьев, depth=2):
   Предсказание: хороший синус
   Bias: НИЗКИЙ
   Variance: ОЧЕНЬ НИЗКАЯ

Практическое сравнение

from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier, AdaBoostClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

X, y = make_classification(n_samples=1000, n_features=20, n_informative=15)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Random Forest
rf = RandomForestClassifier(n_estimators=100, max_depth=None, random_state=42)
rf.fit(X_train, y_train)
rf_train_acc = accuracy_score(y_train, rf.predict(X_train))  # ~ 1.0 (низкий bias)
rf_test_acc = accuracy_score(y_test, rf.predict(X_test))    # ~ 0.95

# Boosting
gb = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42)
gb.fit(X_train, y_train)
gb_train_acc = accuracy_score(y_train, gb.predict(X_train))  # ~ 0.99 (низкий bias после 100 итераций)
gb_test_acc = accuracy_score(y_test, gb.predict(X_test))    # ~ 0.96

print(f"RF Train: {rf_train_acc:.3f}, Test: {rf_test_acc:.3f}")
print(f"GB Train: {gb_train_acc:.3f}, Test: {gb_test_acc:.3f}")

Key Takeaway

Бустинг начинает с ВЫСОКОГО BIAS потому что:

• Использует слабые ученики (маленькие деревья)
• Добавляет новые модели последовательно, узкими шагами
• Каждый новый learner исправляет только часть ошибок

Random Forest имеет НИЗКИЙ BIAS потому что:

• Использует полноценные деревья (высокой глубины)
• Каждое дерево независимо
• Усреднение множества хороших моделей снижает bias

Зато бустинг достигает ОЧЕНЬ НИЗКОЙ VARIANCE, в то время как Random Forest имеет более высокую variance.

Вот почему бустинг (XGBoost, LightGBM, CatBoost) часто выигрывает в конкурсах — он может достичь очень низкой суммарной ошибки при правильном числе итераций.