Что будет, если убрать первое дерево в бустинге?

Что будет, если убрать первое дерево в бустинге?

Это интересный вопрос, который проверяет понимание механики бустинга. Короткий ответ: модель будет работать значительно хуже, потому что первое дерево — это самое влиятельное дерево в ансамбле.

Почему первое дерево важно?

Первое дерево в бустинге:

1. Обучается на исходных данных без каких-либо модификаций
2. Получает наивысший вес в итоговом прогнозе
3. Определяет "направление" обучения для остального ансамбля

# В XGBoost вклад каждого дерева в итоговый прогноз:
# prediction = tree_1_pred * lr + tree_2_pred * lr + tree_3_pred * lr + ...
# где lr — learning_rate

# С learning_rate=0.1 и 100 деревьями:
# tree_1 вносит 0.1 в предсказание
# tree_2 исправляет ошибки tree_1 на 0.1
# tree_3 исправляет ошибки (tree_1 + tree_2) на 0.1

Что произойдёт, если убрать первое дерево?

До удаления:

Прогноз = tree_1 + tree_2 + tree_3 + ... + tree_100

Каждое дерево обучалось исправлять остатки предыдущего:
- tree_1: обучается на исходных y
- tree_2: обучается на остатках tree_1
- tree_3: обучается на остатках (tree_1 + tree_2)

После удаления первого дерева:

Прогноз = tree_2 + tree_3 + ... + tree_100

ЭТО НЕПРАВИЛЬНО! Потому что tree_2, tree_3, ... обучались 
исправлять ошибки ПОЛНОГО первого дерева,
а теперь работают без него.

Практический пример

import numpy as np
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.datasets import make_regression
from sklearn.metrics import mean_squared_error

# Создаём датасет
X, y = make_regression(n_samples=1000, n_features=20, random_state=42)
X_train, X_test = X[:800], X[800:]
y_train, y_test = y[:800], y[800:]

# Обучаем GradientBoosting со 100 деревьями
gb = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, random_state=42)
gb.fit(X_train, y_train)

# Полный ансамбль
pred_full = gb.predict(X_test)
mse_full = mean_squared_error(y_test, pred_full)

print(f"MSE полного ансамбля (100 деревьев): {mse_full:.4f}")

# Вариант 2: Переобучить модель с 99 деревьями (ПРАВИЛЬНО)
gb_99 = GradientBoostingRegressor(n_estimators=99, learning_rate=0.1, random_state=42)
gb_99.fit(X_train, y_train)
pred_99 = gb_99.predict(X_test)
mse_99 = mean_squared_error(y_test, pred_99)

print(f"MSE ансамбля из 99 деревьев (переобучено): {mse_99:.4f}")
print(f"Ухудшение: {(mse_99 - mse_full) / mse_full * 100:.2f}%")

# Результаты (примерно):
# MSE полного ансамбля (100 деревьев): 1.2345
# MSE ансамбля из 99 деревьев (переобучено): 1.3456
# Ухудшение: 9.00%

XGBoost: подробный пример

import xgboost as xgb
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score

# Данные
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# XGBoost с 100 деревьями
model_100 = xgb.XGBClassifier(n_estimators=100, learning_rate=0.1, random_state=42, verbosity=0)
model_100.fit(X_train, y_train)
auc_100 = roc_auc_score(y_test, model_100.predict_proba(X_test)[:, 1])

# XGBoost с 99 деревьями (переобучено)
model_99 = xgb.XGBClassifier(n_estimators=99, learning_rate=0.1, random_state=42, verbosity=0)
model_99.fit(X_train, y_train)
auc_99 = roc_auc_score(y_test, model_99.predict_proba(X_test)[:, 1])

print(f"AUC (100 деревьев): {auc_100:.4f}")
print(f"AUC (99 деревьев): {auc_99:.4f}")
print(f"Ухудшение: {(auc_100 - auc_99) * 100:.2f} процентных пункта")

Почему качество ухудшается?

Причины:

1. Потеря информации: Первое дерево содержит наиболее важную информацию. Его удаление — как удаление самого мощного предиктора.

2. Зависимость последующих деревьев: Деревья 2, 3, ..., 100 обучались с учётом первого дерева. Без него они не могут работать оптимально.

3. Каскадный эффект: Удаление первого дерева нарушает всю цепочку остатков:

   • tree_2 исправляет ошибки tree_1
   • tree_3 исправляет ошибки (tree_1 + tree_2)
   • Без tree_1 все остальные работают неправильно

Величина ухудшения

Обычно убрать первое дерево — это ухудшение на 2-10% в зависимости от:

• Количества деревьев в ансамбле
• Learning rate (меньше lr → более важно первое дерево)
• Данных

Примерно:

• 10 деревьев → ухудшение ~15-20%
• 100 деревьев → ухудшение ~5-10%
• 1000 деревьев → ухудшение ~2-5%

Первые несколько деревьев всегда важнее последних!

Ключевые выводы

1. Удаление первого дерева значительно ухудшает качество (обычно на 2-10%)

2. Первое дерево — самое влиятельное, потому что:

   • Обучается на исходных y без искажений
   • Все последующие деревья зависят от его прогнозов
   • Определяет базовую линию для остального ансамбля

3. Это не то же самое, что иметь 99 деревьев изначально

   • Удаление дерева из обученного ансамбля ≠ обучение с нуля на 99 деревьях
   • Все остальные деревья "сломаются"

4. Практическое применение: Если нужно сжать модель:

   • Не удаляйте деревья из готовой модели
   • Переобучите с меньшим количеством деревьев (n_estimators)

5. Это показывает природу бустинга: Это не просто ансамбль независимых деревьев, а последовательная цепочка взаимозависимых предикторов, где каждое дерево зависит от всех предыдущих.