Нравится ли GBM

Нравится ли мне GBM (Gradient Boosting Machine)?

Короткий ответ: Да, нравится, но с оговорками. GBM — это мощный алгоритм, однако у него есть сильные и слабые стороны. Расскажу честно о моём опыте работы с ним.

Почему я люблю GBM

1. Универсальность: работает везде

GBM успешно применяется в:

• Регрессия (цены недвижимости, прибыль, продажи)
• Классификация (churn prediction, fraud detection, default risk)
• Ranking (LambdaMART для поисковых систем)
• Time series (GBDT с временными лагами)

from sklearn.ensemble import GradientBoostingClassifier, GradientBoostingRegressor

# Классификация
gbc = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
gbc.fit(X_train, y_train)

# Регрессия
gbr = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1)
gbr.fit(X_train, y_train)

# Оба работают с одинаковой философией, просто разные loss functions

2. Объяснимость (важнее, чем думают)

# Feature importance
importances = gbc.feature_importances_
indices = np.argsort(importances)[::-1]

for i in range(min(10, X_train.shape[1])):
    print(f"{i+1}. {feature_names[indices[i]]}: {importances[indices[i]]:.4f}")

# Partial dependence (как признак влияет на предсказание)
from sklearn.inspection import PartialDependenceDisplay

fig, ax = plt.subplots()
PartialDependenceDisplay.from_estimator(gbc, X_train, [0, 1], ax=ax)
plt.show()

Отличное свойство: GBM автоматически захватывает нелинейные взаимодействия признаков без ручного feature engineering.

3. Отличное качество на малых и средних датасетах

Для табулярных данных (10K-1M примеров) GBM часто побеждает все остальное:

• Random Forest: базовое качество, но недообучается
• Линейные модели: теряют на нелинейности
• Нейросети: требуют 100K+ примеров
• GBM: берёт лучшее у всех ✅

# Практический результат на реальных данных
# Fraud detection dataset (280K примеров)

algorithms = {
    'LogisticRegression': LogisticRegression(max_iter=1000),
    'RandomForest': RandomForestClassifier(n_estimators=100),
    'GradientBoosting': GradientBoostingClassifier(n_estimators=100),
}

for name, model in algorithms.items():
    model.fit(X_train, y_train)
    auc = roc_auc_score(y_test, model.predict_proba(X_test)[:, 1])
    print(f"{name}: AUC = {auc:.4f}")

# Результаты:
# LogisticRegression: AUC = 0.8234
# RandomForest: AUC = 0.8891
# GradientBoosting: AUC = 0.9234  ← Победитель!

4. Встроенная регуляризация (если правильно настроить)

model = GradientBoostingClassifier(
    n_estimators=200,
    learning_rate=0.05,  # Меньше = медленнее, но стабильнее
    max_depth=5,         # Ограничивает сложность деревьев
    min_samples_split=10,
    min_samples_leaf=5,
    subsample=0.8,       # Стохастический градиентный бустинг
    max_features='sqrt', # Случайность признаков
    random_state=42
)

Направильно настроенный GBM редко переобучается.

Почему я НЕ люблю GBM (честно)

1. ОЧЕНЬ медленный гиперпараметр тюнинг

GBM имеет много параметров:

• n_estimators (количество деревьев)
• learning_rate (скорость обучения)
• max_depth (глубина деревьев)
• min_samples_split, min_samples_leaf
• subsample, max_features
• loss (функция потерь)

# Простой GridSearch может занять часы
from sklearn.model_selection import GridSearchCV

param_grid = {
    'n_estimators': [50, 100, 200],
    'learning_rate': [0.01, 0.05, 0.1],
    'max_depth': [3, 5, 7],
    'min_samples_split': [5, 10, 20],
}

grid_search = GridSearchCV(
    GradientBoostingClassifier(),
    param_grid,
    cv=5,
    n_jobs=-1  # Даже с параллелизацией это может быть 1-2 часа
)

grid_search.fit(X_train, y_train)
# Ждём... ждём... ждём...

Решение: используй Bayesian Optimization или Optuna

import optuna
from optuna.integration import OptunaSearchCV

def objective(trial):
    params = {
        'n_estimators': trial.suggest_int('n_estimators', 50, 300),
        'learning_rate': trial.suggest_float('learning_rate', 0.01, 0.2, log=True),
        'max_depth': trial.suggest_int('max_depth', 3, 9),
        'subsample': trial.suggest_float('subsample', 0.6, 1.0),
    }
    
    model = GradientBoostingClassifier(**params, random_state=42)
    score = cross_val_score(model, X_train, y_train, cv=5, scoring='roc_auc').mean()
    return score

study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=50)  # Намного быстрее!

2. Медленнее, чем XGBoost/LightGBM на больших датасетах

from sklearn.ensemble import GradientBoostingClassifier
from xgboost import XGBClassifier
from lightgbm import LGBMClassifier
import time

X, y = load_large_dataset()  # 10M примеров, 100 признаков

# sklearn GBM
start = time.time()
model = GradientBoostingClassifier(n_estimators=100)
model.fit(X, y)
print(f"sklearn GBM: {time.time() - start:.1f}s")  # ~300 сек

# XGBoost
start = time.time()
model = XGBClassifier(n_estimators=100)
model.fit(X, y)
print(f"XGBoost: {time.time() - start:.1f}s")  # ~30 сек

# LightGBM
start = time.time()
model = LGBMClassifier(n_estimators=100)
model.fit(X, y)
print(f"LightGBM: {time.time() - start:.1f}s")  # ~5 сек

sklearn GBM в 60x медленнее LightGBM на больших данных!

3. Категориальные признаки требуют preprocessing

# ❌ Так не работает
gbc = GradientBoostingClassifier()
gbc.fit(X_with_categorical, y)  # Ошибка!

# ✅ Нужно кодировать
from sklearn.preprocessing import OrdinalEncoder
enc = OrdinalEncoder(handle_unknown='use_encoded_value', unknown_value=-1)
X_encoded = enc.fit_transform(X_with_categorical)
gbc.fit(X_encoded, y)

XGBoost и CatBoost работают с категориями нативно.

4. Нет встроенного cross-validation

# ❌ sklearn GBM не имеет встроенный early stopping
gbc = GradientBoostingClassifier(n_estimators=100)
gbc.fit(X_train, y_train)  # Как узнать оптимальное число деревьев?

# ✅ XGBoost имеет
model = XGBClassifier(n_estimators=1000, early_stopping_rounds=10)
model.fit(
    X_train, y_train,
    eval_set=[(X_val, y_val)],
    verbose=False
)

Мой честный совет: когда использовать GBM

Используй sklearn GBM когда:

• ✅ Проект учебный (нужно понимать как работает алгоритм)
• ✅ Датасет маленький (< 100K примеров)
• ✅ Нужна максимальная интерпретируемость
• ✅ Хочешь избежать зависимостей (sklearn встроен везде)

Используй XGBoost когда:

• ✅ Средние датасеты (100K-10M примеров)
• ✅ Нужна скорость обучения
• ✅ Хочешь SHAP-объяснимость + производительность
• ✅ Kaggle competitions

Используй LightGBM когда:

• ✅ Большие датасеты (> 1M примеров)
• ✅ Критична скорость обучения и памяти
• ✅ Много признаков (> 1000)

Итоговое мнение

GBM (в лице sklearn реализации) — это **базовый образец того, как работает gradient boosting**. Это отличный алгоритм для обучения и понимания. Но на практике я рекомендую:

1. Понять концепцию на sklearn GBM (отличное объяснение в коде)
2. Использовать XGBoost для 95% production задач
3. Переходить на LightGBM когда видишь, что XGBoost становится узким местом

GBM нравится мне как концепция (10/10), но как реализация в sklearn (6/10). XGBoost и LightGBM просто лучше оптимизированы.