Что такое стекинг?

Стекинг (Stacking): ансамблевый метод машинного обучения

Стекинг (Stacking) — это продвинутый ансамблевый метод, который объединяет несколько базовых моделей (base learners) через мета-модель (meta-learner). Идея в том, что базовые модели делают первичные предсказания, а мета-модель учится оптимально комбинировать эти предсказания для финального результата. Это более мощный подход, чем простое голосование или усреднение.

Как работает стекинг?

Шаг 1: Обучение базовых моделей

• Выбираются несколько разных моделей (например, логистическая регрессия, SVM, случайный лес)
• Каждая модель обучается на одних и тех же данных

Шаг 2: Создание новых признаков (meta-features)

• Базовые модели делают предсказания на валидационном наборе
• Эти предсказания становятся новыми признаками
• Например, 3 базовые модели создают 3 новых признака

Шаг 3: Обучение мета-модели

• Мета-модель обучается на признаках, созданных базовыми моделями
• Мета-модель учится, как лучше всего комбинировать предсказания

Шаг 4: Финальное предсказание

• Базовые модели делают предсказания на тестовом наборе
• Эти предсказания подаются в мета-модель
• Мета-модель выдаёт финальное предсказание

Практический пример на Python

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, cross_val_predict
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
import numpy as np

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

base_learners = [
    ('logistic', LogisticRegression(random_state=42)),
    ('svm', SVC(kernel='rbf', probability=True, random_state=42)),
    ('rf', RandomForestClassifier(n_estimators=100, random_state=42))
]

meta_features_train = []
meta_features_test = []

for name, model in base_learners:
    meta_pred_train = cross_val_predict(model, X_train, y_train, cv=5, method='predict_proba')
    meta_features_train.append(meta_pred_train)
    
    model.fit(X_train, y_train)
    meta_pred_test = model.predict_proba(X_test)
    meta_features_test.append(meta_pred_test)

X_meta_train = np.concatenate(meta_features_train, axis=1)
X_meta_test = np.concatenate(meta_features_test, axis=1)

meta_model = LogisticRegression(random_state=42)
meta_model.fit(X_meta_train, y_train)

y_pred = meta_model.predict(X_meta_test)
print(f"Accuracy стекинга: {accuracy_score(y_test, y_pred):.4f}")

Стекинг vs Бэггинг vs Бустинг

Преимущества стекинга

1. Высокая точность — часто лучше, чем любая базовая модель
2. Использование разных моделей — комбинирует сильные стороны разных алгоритмов
3. Гибкость — можно использовать любые модели как базовые
4. Оптимальная комбинация — мета-модель учится комбинировать предсказания

Недостатки стекинга

1. Сложность — требует тщательной настройки
2. Вычислительные затраты — нужно обучать множество моделей
3. Риск переобучения — meta-features могут быть скоррелированы
4. Время предсказания — медленнее, чем одна модель
5. Интерпретируемость — сложнее объяснить решение

Советы по использованию стекинга

1. Используй разные типы моделей — логистическая регрессия, SVM, случайный лес, градиентный бустинг
2. Выбери простую мета-модель — обычно линейная или логистическая регрессия
3. Избегай переобучения — используй cross-val-predict для тренировочного набора
4. Нормализуй признаки — масштабируй признаки перед мета-моделью
5. Экспериментируй — пробуй разные комбинации базовых моделей

Встроенный StackingClassifier

from sklearn.ensemble import StackingClassifier
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer
from sklearn.metrics import accuracy_score

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

estimators = [
    ('lr', LogisticRegression(max_iter=1000)),
    ('svm', SVC(kernel='rbf', probability=True)),
    ('rf', RandomForestClassifier(n_estimators=100))
]

stacking_model = StackingClassifier(estimators=estimators, final_estimator=LogisticRegression())
stacking_model.fit(X_train, y_train)
y_pred = stacking_model.predict(X_test)
print(f"Accuracy: {accuracy_score(y_test, y_pred):.4f}")

Когда использовать стекинг?

• Соревнования по ML — Kaggle и подобные
• Критичные для точности задачи — медицинская диагностика, финансовое прогнозирование
• Когда у тебя есть время и ресурсы — обучение множества моделей требует времени
• Не используй если нужна быстрая обработка и интерпретируемость