Что такое бустинг?

Бустинг: полное объяснение

Определение

Бустинг (Boosting) — это метод ensemble learning, который последовательно обучает слабые модели (weak learners) с целью создать одну сильную предсказательную модель. Идея: комбинировать много неточных моделей в одну точную.

Ключевое отличие от других методов

# Основные методы ensemble learning:

Bagging (e.g., Random Forest):
  - Обучаем модели ПАРАЛЛЕЛЬНО, независимо друг от друга
  - Каждая видит случайный подмножество данных
  - Предсказания усредняем
  - Уменьшает дисперсию, не меняет смещение

Boosting (e.g., AdaBoost, Gradient Boosting):
  - Обучаем модели ПОСЛЕДОВАТЕЛЬНО
  - Каждая новая модель учится на ошибках предыдущей
  - Каждой ошибке даём больший вес
  - Уменьшает СМЕЩЕНИЕ (bias), может увеличить дисперсию

Как работает бустинг пошагово

Этап 1: Инициализация

• Все объекты имеют одинаковый вес (w = 1/n)
• Обучаем первую слабую модель (например, decision stump — дерево глубины 1)

Этап 2: Расчёт ошибки

• Считаем ошибку модели на обучающих данных
• Ошибку = процент неправильно классифицированных объектов

Этап 3: Обновление весов

• Объекты, которые модель неправильно предсказала → их вес УВЕЛИЧИВАЕМ
• Объекты, которые модель правильно предсказала → их вес УМЕНЬШАЕМ

Этап 4: Новая модель

• Обучаем следующую модель на тех же данных, но с обновлёнными весами
• Теперь эта модель сфокусирована на ошибках предыдущей

Этап 5: Повтор

• Повторяем шаги 2-4 для n итераций
• Каждой модели присваиваем вес (обычно зависит от точности)

Этап 6: Финальное предсказание

• Суммируем взвешенные предсказания всех моделей

Математика (упрощённо)

# AdaBoost для классификации

Алгоритм:
1. Инициализируем веса: w_i = 1/n для всех объектов

2. Для каждой итерации t = 1, 2, ..., M:
   a) Обучаем модель h_t на данных с весами w
   b) Считаем взвешенную ошибку: ε_t = Σ w_i * I(h_t(x_i) ≠ y_i)
   c) Если ε_t > 0.5 или ε_t == 0:
      - Ε_t > 0.5: модель хуже случайности, останавливаем
      - Ε_t == 0: идеальная модель, даём ей максимальный вес
   d) Вычисляем вес модели: α_t = 0.5 * ln((1 - ε_t) / ε_t)
   e) Обновляем веса объектов:
      - Если предсказание ВЕРНО: w_i ← w_i * exp(-α_t)
      - Если предсказание НЕВЕРНО: w_i ← w_i * exp(α_t)
   f) Нормализуем веса: w_i ← w_i / Σ w

3. Финальное предсказание: y = sign(Σ α_t * h_t(x))

Примеры бустинга в реальности

1. AdaBoost

• Исторически первый успешный алгоритм бустинга (1995)
• Простая реализация, интерпретируема
• Уязвима к outliers

from sklearn.ensemble import AdaBoostClassifier
model = AdaBoostClassifier(n_estimators=50, learning_rate=1.0)
model.fit(X_train, y_train)

2. Gradient Boosting (наиболее популярный)

• Вместо весов использует градиенты ошибки
• Каждая новая модель предсказывает остаток (residual) предыдущей
• Эффективнее AdaBoost

from sklearn.ensemble import GradientBoostingClassifier
model = GradientBoostingClassifier(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3
)
model.fit(X_train, y_train)

3. XGBoost (Extreme Gradient Boosting)

• Оптимизированная версия gradient boosting
• Параллельная обработка, регуляризация, handling missing values
• Доминирует на Kaggle соревнованиях

import xgboost as xgb
model = xgb.XGBClassifier(
    n_estimators=100,
    max_depth=5,
    learning_rate=0.1,
    subsample=0.8,
    colsample_bytree=0.8
)
model.fit(X_train, y_train)

4. LightGBM (Light Gradient Boosting Machine)

• Ещё быстрее, чем XGBoost
• Меньше памяти
• Ideal для больших датасетов

import lightgbm as lgb
model = lgb.LGBMClassifier(n_estimators=100, num_leaves=31)
model.fit(X_train, y_train)

Преимущества и недостатки

Преимущества:

• Высокая точность — часто лучше чем single models
• Борьба со смещением — последовательное обучение на ошибках
• Handling non-linearity — комбинация простых моделей может выучить сложные зависимости

Недостатки:

• Переобучение (overfitting) — может запомнить training данные
  • Решение: ограничить количество итераций (n_estimators), использовать early stopping
• Чувствительность к outliers — особенно AdaBoost
  • Решение: cleaning данных перед применением
• Обучение медленнее — модели обучаются последовательно, не параллельно
  • Компромисс: XGBoost/LightGBM частично параллелизуют процесс
• Интерпретируемость — сложнее объяснить, чем single model

Когда использовать

• Используй бустинг когда:

  • Нужна высокая accuracy
  • У тебя достаточно вычислительных ресурсов
  • Данные относительно чистые
  • Время обучения некритично

• Не используй когда:

  • Нужна максимальная скорость обучения
  • Данные очень шумные
  • Нужна максимальная интерпретируемость
  • Real-time предсказания с минимальной задержкой