Для чего нужен градиент в бустинге?

Для чего нужен градиент в бустинге?

Градиент в бустинге — это направление и величина, которые указывают, как нужно улучшать предсказания модели. Это математическое направление, вычисленное на основе ошибок предыдущих моделей. Давайте разберём подробно.

Суть градиента в бустинге

Бустинг — это ансамблевый метод, где каждая новая модель исправляет ошибки предыдущих. Вместо того чтобы тренировать новую модель на случайных данных, мы тренируем её на том, в чём ошибалась предыдущая модель.

Градиент — это частная производная функции потерь по предсказаниям модели:

градиент = ∂L / ∂ŷ

Где:

• L — функция потерь (например, логистическая регрессия для классификации)
• ŷ — предсказания текущей модели

Как градиент используется?

Пример 1: Классическая регрессия (Gradient Boosting)

Предположим, нам нужно предсказать цену дома. Первая модель даёт ошибку. Вторая модель тренируется не на самих целевых значениях y, а на остатках (residuals) — ошибках первой модели.

Это эквивалентно следованию градиенту:

import numpy as np
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.datasets import make_regression

# Данные
X, y = make_regression(n_samples=1000, n_features=10, noise=10)

# Бустинг следует по градиенту потерь
model = GradientBoostingRegressor(
    n_estimators=100,  # количество деревьев
    learning_rate=0.1,  # насколько быстро двигаться вдоль градиента
    loss=squared_error  # функция потерь
)

model.fit(X, y)

Пример 2: Классификация с LogLoss

Для логистической регрессии градиент показывает, насколько предсказание отличается от истинного класса:

from sklearn.ensemble import GradientBoostingClassifier

model = GradientBoostingClassifier(
    loss=log_loss,  # кросс-энтропия
    learning_rate=0.1,
    n_estimators=100
)

Новое дерево тренируется минимизировать градиент потерь, направляя предсказания в правильную сторону.

Зачем это нужно?

1. Эффективное обучение

Вместо случайного поиска направления (как в случайном лесе), бустинг точно знает, в какую сторону двигаться, чтобы уменьшить потери.

2. Секвенциальное улучшение

Каждая следующая модель знает, где ошибалась предыдущая, и фокусируется именно на этих сложных примерах:

Модель 1: предсказывает цену дома = 300k, но истина = 400k (ошибка +100k)
Модель 2: учит этот остаток -100k, добавляет корректировку
Модель 3: учит новые остатки и т.д.

Итоговое предсказание = Модель1 + Модель2 + Модель3 + ...

3. Learning Rate как контроль скорости

Мы не просто добавляем предсказание следующей модели — мы добавляем его с весом (learning rate):

learning_rate = 0.1
prediction_new = prediction_old + learning_rate * gradient_correction

Это предотвращает перетренировку и делает обучение более стабильным.

Практическая разница

XGBoost явно использует градиент:

import xgboost as xgb

model = xgb.XGBRegressor(
    learning_rate=0.1,
    n_estimators=100,
    max_depth=5
)

# XGBoost внутри явно вычисляет градиент и hessian (вторая производная)
# для оптимизации функции потерь
model.fit(X, y)

LightGBM также работает с градиентами:

import lightgbm as lgb

model = lgb.LGBMRegressor(
    learning_rate=0.1,
    num_leaves=31
)

model.fit(X, y)

Вывод

Градиент в бустинге — это математический компас, который показывает алгоритму, как улучшать предсказания. Без градиента мы бы тренировали модели вслепую. С градиентом каждая новая модель точно знает, на какие ошибки фокусироваться. Это делает бустинг одним из самых мощных методов машинного обучения.