Что такое градиентный бустинг?

Что такое градиентный бустинг?

Градиентный бустинг — это мощный ансамблевый метод машинного обучения, который строит последовательность слабых моделей (обычно деревьев решений) для минимизации функции потерь. Это один из самых эффективных алгоритмов в практическом применении.

Ключевые принципы

Принцип работы:

• На каждой итерации добавляется новое дерево, которое предсказывает остатки (residuals) предыдущих моделей
• Каждое новое дерево корректирует ошибки предыдущих
• Итоговый прогноз — это сумма всех деревьев с коэффициентом обучения (learning rate)

Отличие от простого бустинга:

• Простой бустинг корректирует веса неправильно классифицированных примеров
• Градиентный бустинг использует градиенты функции потерь для направления обучения

Математика

Обозначим функцию потерь как L. На итерации m:

# Псевдокод
predictions = initial_predictions  # обычно ноль

for m in range(n_iterations):
    # 1. Вычисляем градиенты потерь
    gradients = -dL/dy_pred  # градиент по предсказаниям
    
    # 2. Обучаем дерево предсказывать градиенты
    tree_m = fit_tree(X, gradients)
    
    # 3. Находим оптимальный шаг (learning rate)
    step = learning_rate
    
    # 4. Обновляем предсказания
    predictions += step * tree_m.predict(X)

Популярные реализации

• XGBoost — самая популярная, с оптимизациями GPU, регуляризацией
• LightGBM — быстрая, экономит память, лучше для больших датасетов
• CatBoost — хороша для категориальных признаков, снижает переобучение
• Sklearn GradientBoostingClassifier/Regressor — базовая реализация

Гиперпараметры

Критические:

• learning_rate (eta) — множитель для шага (0.01-0.3). Меньше = стабильнее, медленнее
• n_estimators — количество деревьев (100-1000). Больше = лучше, но риск переобучения
• max_depth — глубина дерева (3-8). Меньше = проще, менее гибко

Важные:

• subsample — доля строк для обучения каждого дерева (0.5-1.0)
• colsample_bytree — доля признаков на дерево
• min_child_weight — минимальная сумма весов в листе (для регуляризации)

Достоинства и ограничения

Плюсы:

• Высокая предсказательная способность (часто лучше других методов)
• Автоматически выбирает важные признаки
• Не требует масштабирования данных
• Работает с пропущенными значениями
• Универсален для регрессии и классификации

Минусы:

• Требует тщательной настройки гиперпараметров
• Медленнее, чем random forest на CPU
• Может переобучаться (требует контроля)
• Менее интерпретируем, чем простые модели
• Чувствителен к выбросам

Практический пример

from xgboost import XGBClassifier
from sklearn.model_selection import cross_val_score

# Инициализация
model = XGBClassifier(
    n_estimators=200,
    learning_rate=0.05,
    max_depth=5,
    subsample=0.8,
    colsample_bytree=0.8,
    random_state=42
)

# Обучение
model.fit(X_train, y_train)

# Важность признаков
importances = model.feature_importances_

# Кросс-валидация
scores = cross_val_score(model, X, y, cv=5, scoring=auc)
print(f"ROC-AUC: {scores.mean():.3f} (+/- {scores.std():.3f})")

Когда использовать

Градиентный бустинг — отличный выбор для:

• Соревнований (Kaggle)
• Задач с небольшими/средними датасетами
• Когда нужна максимальная точность
• Табличных данных

Используй другие методы, если:

• Данные очень высокой размерности (>10k признаков) — тогда лучше нейросети
• Нужна интерпретируемость — попробуй логистическую регрессию
• Данные очень большие — рассмотри LightGBM вместо XGBoost