Какие деревья предпочтительнее для бустинга?

Какие деревья предпочтительнее для бустинга?

Введение

В машинном обучении бустинг является одним из наиболее мощных методов ансамблирования. Выбор правильного типа дерева как базового алгоритма (base learner) критически влияет на производительность модели.

Неглубокие деревья решений (Shallow Decision Trees)

Идеальный выбор для классического бустинга — деревья глубины 1-3 узла (stumps и пни):

• Stumps (пни) — самые простые, одна особенность и один разделитель
• Слабые ученики — естественно избегают переобучения
• Интерпретируемость — каждое дерево легко объяснить
• Вычислительная эффективность — быстро обучаются

Формулировка итогового предиктора:

f(x) = α₁h₁(x) + α₂h₂(x) + ... + αₙhₙ(x)
где h_i — слабое дерево, α_i — его вес

Глубокие деревья для современного бустинга

Алгоритмы XGBoost, LightGBM, CatBoost используют более глубокие деревья (глубина 5-8):

• Лучше захватывают нелинейные зависимости при начальном расщеплении
• Быстрее сходятся — требуют меньше итераций
• Меньше шума — глубина контролируется параметром регуляризации
• Встроенная регуляризация — learning rate, субсэмплирование

from xgboost import XGBClassifier

model = XGBClassifier(
    max_depth=6,
    learning_rate=0.1,
    n_estimators=100,
    subsample=0.8,
    colsample_bytree=0.8
)

Сравнение подходов

Практические рекомендации

1. Начните с пней для baseline и понимания
2. Увеличивайте глубину постепенно — depth=3, 5, 7
3. Всегда используйте регуляризацию — learning_rate, max_depth
4. Для табличных данных — XGBoost/LightGBM с depth=5-6
5. Для категориальных признаков — CatBoost

Почему деревья?

• Масштабируемость — работают с разными типами признаков
• Обработка взаимодействия — перехватывают feature interactions
• Робастность — нечувствительны к масштабированию
• Адаптивность — находят нелинейные границы

Заключение

Для современных приложений XGBoost, LightGBM и CatBoost с глубиной 5-8 являются золотым стандартом благодаря скорости и качеству. Однако для интерпретируемости и baseline моделей пни остаются отличным выбором.