Какие плюсы и минусы у линейных моделей?

Плюсы и минусы линейных моделей

Линейные модели (линейная регрессия, логистическая регрессия) — это фундаментальный класс ML-алгоритмов, которые остаются критически важны даже с появлением deep learning. Рассмотрю их сильные и слабые стороны подробно.

Плюсы линейных моделей

1. Интерпретируемость

Каждый коэффициент модели имеет ясный смысл. В линейной регрессии коэффициент β показывает, на сколько единиц изменится целевая переменная при увеличении признака на 1:

# Логистическая регрессия
from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
model.fit(X, y)
# Коэффициенты интерпретируются как log-odds влияния признака
for feature, coef in zip(feature_names, model.coef_[0]):
    print(f"{feature}: {coef}")

Это критично для бизнеса, медицины, финансов где нужна объяснимость решений.

2. Эффективность обучения

• Обучаются за O(n*m²) при n строках и m признаках
• На больших датасетах используют SGD: O(n*m) per iteration
• В 1000+ раз быстрее, чем сложные нейронные сети

3. Скорость inference

• Простое матричное умножение: O(m) операций
• Миллионы примеров в секунду на одном CPU
• Критично для real-time систем (fraud detection, recommenders)

4. Малые требования к памяти

• Хранятся только веса β размером m*1
• На 1M признаков требуется 4-8MB памяти
• Легко деплоить на мобильные устройства и edge

5. Надёжность и стабильность

• Хорошо изучены математически
• Предсказуемое поведение на новых данных
• Меньше risk of overfitting при правильной регуляризации

6. Хорошая работа с малыми датасетами

• Deep learning нуждается в 10K+ примеров
• Линейные модели часто работают на 100-1000 примеров

Минусы линейных моделей

1. Предположение линейности

Модель предполагает линейную зависимость target от features. На практике это редко верно:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures

# Данные с нелинейной зависимостью
X = np.linspace(0, 10, 100).reshape(-1, 1)
y = np.sin(X).ravel() + np.random.normal(0, 0.1, 100)

# Линейная модель даст плохой результат
linear = LinearRegression()
linear.fit(X, y)
# R² ≈ 0.1

# Нужны полиномиальные признаки
poly = PolynomialFeatures(degree=5)
X_poly = poly.fit_transform(X)
linear_poly = LinearRegression()
linear_poly.fit(X_poly, y)
# R² ≈ 0.95

2. Слабая работа с категориальными признаками

• Требуют preprocessing (one-hot encoding, target encoding)
• Увеличивают размерность (n_categories признаков вместо 1)
• Tree-based модели работают с категориями нативно

3. Невозможность учесть взаимодействия признаков

Модель вида y = β₀ + β₁x₁ + β₂x₂ не может уловить, что влияние x₁ зависит от значения x₂:

# Нужно вручную добавлять interaction terms
X['x1_x2'] = X['x1'] * X['x2']
X['x1_squared'] = X['x1'] ** 2

Деревья и нейросети делают это автоматически.

4. Чувствительность к масштабу признаков

• Нужна нормализация (StandardScaler, MinMaxScaler)
• Коэффициенты β не сравнимы между признаками разных шкал

5. Чувствительность к выбросам

• Линейная регрессия минимизирует MSE, которая квадратична
• Большой выброс сильно смещает модель
• Решение: robust regression (Huber loss, quantile regression)

from sklearn.linear_model import HuberRegressor
huber = HuberRegressor(max_iter=1000, alpha=0.0001, epsilon=1.35)
huber.fit(X, y)  # Более устойчива к выбросам

6. Низкая производительность на complex patterns

• Image recognition: linear ≈ 60% accuracy, CNN ≈ 99%
• NLP: логарифмическая регрессия ≈ 70% accuracy, BERT ≈ 94%

Когда использовать линейные модели

✅ Используй линейные модели когда:

• Нужна интерпретируемость (медицина, финансы, право)
• Датасет маленький (< 1000 примеров)
• Требуется скорость обучения и inference (real-time системы)
• Соотношение примеров к признакам высокое (n >> m)
• Зависимость примерно линейна

❌ Избегай когда:

• Complex patterns в данных
• Много неструктурированных данных (text, images)
• Нужна максимальная точность (Kaggle competitions)
• Малое соотношение n/m (n << m) — используй регуляризацию

Практический совет

Базовый workflow:

1. Начни с линейной модели как baseline
2. Проверь качество: если R² > 0.8-0.9 → готово
3. Если нет → добавь polynomial features, interactions
4. Если всё ещё плохо → переходи на tree-based или deep learning

Линейные модели — это не "простые" модели, а интерпретируемые модели, которые часто работают лучше сложных на реальных данных благодаря хорошей генерализации.