Как происходит обучение бустинга?

Как происходит обучение бустинга

Бустинг — это метод ансамбля, который последовательно обучает слабых обучающихся, каждый новый модель фокусируется на ошибках предыдущих. Это один из самых мощных методов в машинном обучении, достигающий выдающихся результатов на конкурсах и в промышленных приложениях.

Общий принцип работы

Основная идея бустинга заключается в том, что сочетание нескольких слабых моделей может привести к созданию одной мощной модели. На каждой итерации алгоритм:

1. Обучает модель на текущих весах примеров
2. Вычисляет ошибку обученной модели
3. Обновляет веса — увеличивает вес ошибочно классифицированных примеров
4. Повторяет процесс с новыми весами

Алгоритм AdaBoost (пример)

Адаптивный бустинг — один из самых изученных алгоритмов. Вот как он работает пошагово:

weight = [1/n] * n
models = []
alphas = []

for t in range(num_iterations):
    model = train_weak_learner(X, y, sample_weight=weight)
    predictions = model.predict(X)
    error = sum(weight[i] for i in range(n) if predictions[i] != y[i])
    
    if error >= 0.5:
        break
    
    alpha = 0.5 * log((1 - error) / error)
    
    for i in range(n):
        if predictions[i] == y[i]:
            weight[i] *= exp(-alpha)
        else:
            weight[i] *= exp(alpha)
    
    weight = weight / sum(weight)
    models.append(model)
    alphas.append(alpha)

final_prediction = sign(sum(alpha * model.predict(x) for alpha, model in zip(alphas, models)))

Ключевые параметры и их роль

Скорость обучения (learning_rate)

Определяет, насколько сильно каждая новая модель влияет на финальное решение. Меньшая скорость обучения требует больше итераций, но часто дает лучший результат:

• Высокая (0.5-1.0): быстрое обучение, риск переобучения
• Низкая (0.01-0.1): медленное обучение, обычно лучше обобщает

Глубина деревьев (max_depth)

Для бустинга обычно используют неглубокие деревья (depth=1-5):

• Глубокие деревья — риск переобучения
• Мелкие деревья — более стабильный ансамбль

Количество итераций (n_estimators)

Больше итераций — лучше до определённой точки, потом может начаться переобучение

Различия основных алгоритмов

AdaBoost

• Обновляет веса после каждой итерации
• Коэффициент важности модели зависит от её ошибки
• Хорошо работает с бинарной классификацией

Gradient Boosting

• Вместо весов использует градиенты ошибки
• Каждое новое дерево предсказывает остаток (residuals) предыдущих
• Очень гибкий метод, работает для регрессии и классификации
• Требует выбора функции потерь

XGBoost, LightGBM, CatBoost

Модернизированные версии gradient boosting:

• XGBoost: улучшенная оптимизация, обработка пропусков
• LightGBM: быстрее на больших наборах данных
• CatBoost: лучше работает с категориальными признаками

Тренировка на практике

from sklearn.ensemble import GradientBoostingClassifier
from xgboost import XGBClassifier

gb = GradientBoostingClassifier(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3,
    min_samples_split=2,
    subsample=0.8
)
gb.fit(X_train, y_train)

xgb = XGBClassifier(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3,
    subsample=0.8,
    colsample_bytree=0.8,
    objective='binary:logistic'
)
xgb.fit(X_train, y_train)

y_pred = xgb.predict(X_test)
score = accuracy_score(y_test, y_pred)

Важные аспекты обучения

Ранняя остановка (Early Stopping) — останавливаем обучение если валидационная ошибка не улучшается:

• Уменьшает переобучение
• Экономит вычисления
• Обычно дает лучшие результаты

Валидационная кривая — важно отслеживать:

• Если train loss падает, а val loss растет — переобучение
• Идеально: обе кривые должны улучшаться вместе

Сложности при обучении

1. Чувствительность к выбросам — AdaBoost может перекосить вес на выбросы
2. Комбинаторное увеличение ошибок — сложно экстраполировать на новые данные
3. Требует больше данных — ансамбли работают лучше с большими dataset
4. Медленное обучение — не параллелизуется эффективно

Несмотря на эти сложности, бустинг остается одним из наиболее надежных методов машинного обучения.