Из чего состоит Bayesian Ensembling Composition

Bayesian Ensemble Composition

Bayesian Ensemble — это подход в машинном обучении, который объединяет несколько моделей с использованием байесовских принципов для повышения качества предсказаний. Это мощный метод, который различается от традиционных ансамблей своей теоретической основой.

Основные компоненты

1. Базовые модели (Base Learners)

• Несколько различных моделей машинного обучения (decision trees, neural networks, SVMs и т.д.)
• Каждая модель обучается на одном и том же наборе данных
• Модели должны быть достаточно разнообразны, чтобы делать разные типы ошибок

2. Весовые коэффициенты (Model Weights)

• Байесовский подход присваивает каждой модели вероятность того, что она правильна
• Веса вычисляются на основе апостериорного распределения вероятностей
• Модели с лучшей точностью получают более высокие веса

3. Апостериорное распределение (Posterior Distribution)

• Вероятность того, что предсказание модели верно, учитывая наблюдаемые данные
• Вычисляется с использованием теоремы Байеса
• Позволяет количественно оценить неопределённость в предсказаниях

Принцип работы

import numpy as np
from sklearn.ensemble import BaggingClassifier, RandomForestClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.linear_model import LogisticRegression

# Создаём несколько базовых моделей
model1 = RandomForestClassifier(n_estimators=100)
model2 = GaussianNB()
model3 = LogisticRegression()

# В байесовском ансамбле каждой модели присваивается вероятность
# P(Model_i | Data) = P(Data | Model_i) * P(Model_i) / P(Data)

# Простой пример взвешенного голосования
classes = np.array([model1.predict(X_test), 
                    model2.predict(X_test),
                    model3.predict(X_test)])

# Веса на основе перекрёстной валидации (апостериорные вероятности)
weights = np.array([0.5, 0.3, 0.2])  # Нормализованные веса

# Финальное предсказание
final_prediction = np.average(classes, axis=0, weights=weights)

Ключевые элементы Байесовского Ансамбля

Функция правдоподобия (Likelihood)

• P(Data | Model_i) — вероятность наблюдать данные при условии, что модель i верна
• Вычисляется через метрики точности на валидационной выборке

Априорная вероятность (Prior)

• P(Model_i) — начальная вера в качество модели i
• Обычно устанавливается как равномерное распределение для всех моделей

Свидетельство (Evidence)

• P(Data) — вероятность наблюдать данные при любой из моделей
• Служит нормализующей константой

Практическое применение в Data Science

Пример с регрессией:

from sklearn.ensemble import VotingRegressor
from sklearn.linear_model import Ridge
from sklearn.svm import SVR
from sklearn.neighbors import KNeighborsRegressor

# Создание ансамбля с весами
voting_reg = VotingRegressor(
    estimators=[
        (ridge, Ridge(alpha=1.0)),
        (svr, SVR(kernel=linear)),
        (knn, KNeighborsRegressor(n_neighbors=5))
    ],
    weights=[0.4, 0.35, 0.25]  # Байесовские веса
)

voting_reg.fit(X_train, y_train)
y_pred = voting_reg.predict(X_test)

Преимущества

• Снижение дисперсии: усреднение уменьшает переобучение
• Баланс смещения и дисперсии: веса автоматически находят оптимальное соотношение
• Теоретическая обоснованность: использует статистические принципы
• Неопределённость: можно получить не только предсказание, но и меру уверенности

Отличие от других методов

Стандартное голосование: все модели имеют равные веса Boosting: последовательное обучение с корректировкой ошибок Bayesian Ensemble: веса определяются апостериорными вероятностями на основе валидационных данных

Байесовский ансамбль особенно полезен, когда нужна не только точность, но и оценка уверенности в предсказаниях — это критично для критических приложений в банках, здравоохранении и других областях.