Какие плюсы и минусы линейной регрессии?

Плюсы линейной регрессии

Интерпретируемость — это главное достоинство. Каждый коэффициент при признаке имеет ясный смысл: на сколько единиц изменится целевая переменная при увеличении признака на 1 единицу. Это критично для бизнеса, когда нужно объяснить решение лицам, принимающим решения.

Вычислительная эффективность — линейная регрессия решается за O(n·p²) операций через аналитическое решение (нормальное уравнение) или быстрые методы оптимизации. Масштабируется на миллионы примеров.

Теоретическая база — математика полностью изучена. Есть статистические тесты (t-тест для коэффициентов), доверительные интервалы, анализ остатков.

Устойчивость к переобучению при малых данных — благодаря простоте модели обычно не переобучается на маленьких датасетах, если нет сильного дисбаланса признаков.

Минусы линейной регрессии

Предположение линейности — реальные зависимости часто нелинейные. Модель плохо работает, если связь между признаками и целевой переменной криволинейная.

Чувствительность к выбросам — один аномальный пример может сильно сместить коэффициенты из-за квадратичной функции потерь (MSE). Нужна предварительная очистка данных.

Предположения о данных:

• Гомоскедастичность (постоянная дисперсия ошибок) — часто нарушается на реальных данных
• Нормальность распределения ошибок — не всегда выполнено
• Независимость наблюдений — может нарушаться в временных рядах или при кластеризованных данных

Мультиколлинеарность — когда два признака сильно коррелируют, коэффициенты становятся неустойчивыми. Малое изменение данных может кардинально их изменить.

Свойства признаков — нужна предварительная масштабизация, иначе признаки с большим диапазоном доминируют. Категориальные признаки требуют кодирования.

from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
model = LinearRegression()
model.fit(X_scaled, y)

for i, coef in enumerate(model.coef_):
    print(f"Признак {i}: при +1σ целевая переменная меняется на {coef:.3f}")

Когда использовать

Хороша для:

• Задач с малым количеством данных
• Когда нужна высокая интерпретируемость
• Базовой baseline модели
• Линейных зависимостей

Плохо подходит для:

• Сложных нелинейных задач — переходи на деревья, нейросети
• Данных с выбросами — используй robust regression (Huber, quantile)
• Высокомерных данных без регуляризации — добавь L1/L2 (Ridge, Lasso)

Итог: линейная регрессия — фундамент ML, но её ограничения требуют проверки предположений и предварительной обработки данных.