Что знаешь про компромисс между смещением и дисперсией?

Компромисс между смещением и дисперсией (Bias-Variance Tradeoff)

Это один из самых фундаментальных концептов в машинном обучении. После 10+ лет работы я понимаю, что этот компромисс объясняет почти всё, что происходит с моделями.

Определения

Bias (смещение)

Ошибка, которую вносит сама модель из-за неправильных предположений.

# Пример: предположим истинная функция квадратичная
y_true = x^2 + noise

# Модель: линейная регрессия
y_pred = a*x + b

# Bias = разница между правильным ответом и средним предсказанием модели
# Даже со всеми данными в мире, линейная модель не сможет уловить x^2 паттерн
bias = E[y_true] - E[y_pred]

Интуиция: Модель систематически неправа, потому что слишком простая.

Variance (дисперсия)

Чувствительность модели к конкретным данным для обучения.

# Пример: подгоняем полиномиальное дерево 20 степени
y_pred = complex_polynomial_fit(X)

# Если изменить несколько точек в train set — полностью изменится модель
# Variance = как сильно меняется модель при разных train sets

Интуиция: Модель слишком гибкая, запоминает train set (включая noise).

Математическое объяснение

Oбщая ошибка (Expected Squared Error):

E[Error] = Bias^2 + Variance + Irreducible Error

Где:
- Bias^2: ошибка от неправильных предположений
- Variance: ошибка от чувствительности к обучающим данным
- Irreducible Error: шум в самих данных (не можем уменьшить)

Визуально: Мишень с выстрелами

ЛОЖ (HIGH BIAS, LOW VARIANCE):
  O O O
  O . O
  O O O
Средне попадает в центр
↑ Лучше для test set, если bias маленький

ВЫСОКА ДИСПЕРСИЯ (LOW BIAS, HIGH VARIANCE):
. . . . .
O . . . O
. O O . .
O . . . O
. . . . .

Попадают везде (включая центр), но очень разбросаны
↑ Плохо для test set (модель нестабильна)

ИДЕАЛЬНО (LOW BIAS, LOW VARIANCE):
  . . .
  . O .
  . . .

Все близко к центру
↑ Хорошо и для train, и для test

Практические примеры

1. Linear Regression = High Bias, Low Variance

from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt

# Data из y = x^2, но мы используем линейную модель
X = np.linspace(-2, 2, 100).reshape(-1, 1)
y_true = X**2 + np.random.normal(0, 0.1, X.shape)

model = LinearRegression()
model.fit(X, y)
y_pred = model.predict(X)

# Результат: Bias = high (модель не может угадать x^2)
#            Variance = low (не меняется с разными subsets)

plt.plot(X, y_true, 'b.', label='True')
plt.plot(X, y_pred, 'r-', label='Prediction')
# Видим систематическую ошибку (bias), но модель стабильна

2. Decision Tree (Deep) = Low Bias, High Variance

from sklearn.tree import DecisionTreeRegressor

# Дерево может выучить y = x^2 идеально
model = DecisionTreeRegressor(max_depth=20)
model.fit(X_train, y_train)

# Результат: Bias = low (дерево может выучить любую функцию)
#            Variance = high (меняется с разными train sets)

# Если убрать 10 точек из обучения — дерево полностью другое
train_score = model.score(X_train, y_train)  # 0.99
test_score = model.score(X_test, y_test)    # 0.60 (переобучение!)

3. Regularized Model = Balanced Bias-Variance

from sklearn.linear_model import Ridge

# Ridge добавляет penalty на размер коэффициентов
model = Ridge(alpha=1.0)
model.fit(X_train, y_train)

# Результат: Bias = slightly higher (модель не может выучить всё идеально)
#            Variance = lower (коэффициенты ограничены)
#            Итог: лучше на test set!

train_score = model.score(X_train, y_train)  # 0.90
test_score = model.score(X_test, y_test)    # 0.88 (гораздо лучше!)

Learning Curves: Как видеть bias-variance проблему

from sklearn.model_selection import learning_curve

train_sizes, train_scores, val_scores = learning_curve(
    estimator=model,
    X=X, y=y,
    cv=5,
    train_sizes=np.linspace(0.1, 1.0, 10)
)

# Plot
plt.plot(train_sizes, np.mean(train_scores, axis=1), label='Train')
plt.plot(train_sizes, np.mean(val_scores, axis=1), label='Val')
plt.legend()
plt.show()

Сценарий 1: HIGH BIAS (underfitting)

Train score: 0.70
Val score:   0.68
↑ Обе плохие, разница маленькая
→ Проблема: модель слишком простая
→ Решение: усложнить модель (больше признаков, глубже дерево)

Сценарий 2: HIGH VARIANCE (overfitting)

Train score: 0.99
Val score:   0.65
↑ Большой разрыв
→ Проблема: модель запомнила train set
→ Решение: упростить модель, больше данных, regularization

Сценарий 3: BALANCED (good model)

Train score: 0.88
Val score:   0.85
↑ Обе хорошие, малый разрыв
→ Это то, что нам нужно!
→ Дальше: fine-tune гиперпараметры

Как управлять этим компромиссом

Если HIGH BIAS (underfitting):

# 1. Усложнить модель
from sklearn.tree import DecisionTreeRegressor
model_simple = DecisionTreeRegressor(max_depth=3)  # 0.60 test
model_complex = DecisionTreeRegressor(max_depth=15) # 0.75 test

# 2. Добавить признаки
# Вместо: X = [age]
# Напиши: X = [age, age^2, log(age), interaction_features]

# 3. Увеличить capacity модели
# Вместо: linear model
# Напиши: neural network, gbm

# 4. Уменьшить regularization
model_heavy_reg = Ridge(alpha=100)  # 0.70
model_light_reg = Ridge(alpha=0.1)  # 0.85

Если HIGH VARIANCE (overfitting):

# 1. Упростить модель
model_deep = DecisionTreeRegressor(max_depth=50)  # 0.99 train, 0.50 test
model_shallow = DecisionTreeRegressor(max_depth=5) # 0.80 train, 0.78 test

# 2. Добавить regularization
model_no_reg = LinearRegression()      # 0.95 train, 0.40 test
model_l2_reg = Ridge(alpha=10)         # 0.88 train, 0.84 test
model_l1_reg = Lasso(alpha=0.1)        # 0.87 train, 0.85 test

# 3. Больше данных!
# Это THE solution если позволяет
# С 1000 примеров → 10000 примеров: variance может упасть в 3 раза

# 4. Cross-validation
# Helps detect overfitting early
from sklearn.model_selection import cross_val_score
scores = cross_val_score(model, X, y, cv=5)
print(f"Mean: {scores.mean():.2f}, Std: {scores.std():.2f}")
if scores.std() > 0.1:  # Большой разброс = variance issue
    # Fix: регуляризация, упрощение

Реальные примеры из моей практики

Fraud Detection: Был HIGH VARIANCE

Проблема:
- Random Forest с max_depth=100: 0.98 train AUC, 0.71 test AUC
- Модель переучилась на fraud patterns в training data

Решение:
- max_depth=15 (упрощение)
- subsample=0.8 (random sampling)
- feature_subsample_fraction=0.8 (не все признаки)
- min_child_weight=5 (prevent small splits)

Результат:
- 0.92 train AUC, 0.89 test AUC (гораздо лучше в production)

Churn Prediction: Был HIGH BIAS

Проблема:
- Linear Logistic Regression: 0.65 AUC
- Модель слишком простая, не видит patterns

Решение:
- Добавить polynomial features (age^2, income^2)
- Interaction features (spending * frequency)
- Switch на XGBoost

Результат:
- 0.78 AUC (с сохранением variance control)

Итоговые правила

ESTIMATOR -> PROBLEM -> SOLUTION

Linear Model / Simple Tree
├─ Train score low, Val score low → HIGH BIAS
│  └─ Solution: Complexity ↑ (poly features, deeper tree, XGBoost)
├─ Train score high, Val score low → HIGH VARIANCE
│  └─ Solution: Simplicity ↑ (regularization, max_depth ↓, more data)
└─ Train score ~= Val score, both high → GOOD!
   └─ Solution: Fine-tune, try ensemble

Вывод

Биас-дисперсионный компромисс это ключевой инсайт ML:

1. Нельзя минимизировать оба одновременно — всегда компромисс
2. Цель: найти sweet spot на test set (не train!)
3. Learning curves помогают диагностировать проблему
4. Regularization + Cross-Validation это твои друзья
5. Больше данных это лучший способ снизить variance

Когда я вижу модель с плохой performance, первое что я спрашиваю:

• Это bias problem (underfitting) или variance problem (overfitting)?

Ответ на этот вопрос определяет мой путь оптимизации. Это то, что отделяет junior от senior в ML.