В чем разница между линейной регрессией и случайным лесом?

Разница между линейной регрессией и случайным лесом

Краткое сравнение

1. Линейная регрессия

Идея: найти линейную связь между X и y.

from sklearn.linear_model import LinearRegression
import numpy as np

# Генерируем линейные данные
np.random.seed(42)
X = np.array([[1], [2], [3], [4], [5]])
y = 2*X.flatten() + 1 + np.random.normal(0, 0.5, 5)

# Обучаем модель
model_lr = LinearRegression()
model_lr.fit(X, y)

# Прогноз
y_pred = model_lr.predict(X)

print(f"Коэффициент: {model_lr.coef_[0]:.2f}")
print(f"Intercept: {model_lr.intercept_:.2f}")
# Результат: y = 2*x + 1

Преимущества:

• Простота: легко понять и объяснить
• Интерпретируемость: коэффициенты показывают влияние каждой переменной
• Скорость: O(n) обучение и предсказание
• Требует мало данных: работает с маленькими датасетами

Недостатки:

• Только линейные связи: если зависимость нелинейная, модель плохая
• Чувствительна к выбросам: outliers сильно влияют на коэффициенты
• Предположения: требует нормального распределения ошибок

2. Случайный лес (Random Forest)

Идея: построить много деревьев решений и усреднить их предсказания.

from sklearn.ensemble import RandomForestRegressor

# Генерируем нелинейные данные
X_nonlinear = np.linspace(0, 10, 100).reshape(-1, 1)
y_nonlinear = np.sin(X_nonlinear.flatten()) + np.random.normal(0, 0.1, 100)

# Линейная регрессия (плохо)
model_lr = LinearRegression()
model_lr.fit(X_nonlinear, y_nonlinear)

# Случайный лес (хорошо)
model_rf = RandomForestRegressor(n_estimators=100, random_state=42)
model_rf.fit(X_nonlinear, y_nonlinear)

# Метрики
from sklearn.metrics import r2_score, mean_squared_error

y_lr_pred = model_lr.predict(X_nonlinear)
y_rf_pred = model_rf.predict(X_nonlinear)

print(f"Линейная регрессия R2: {r2_score(y_nonlinear, y_lr_pred):.3f}")
print(f"Случайный лес R2: {r2_score(y_nonlinear, y_rf_pred):.3f}")
# Результат: RF намного лучше

Преимущества:

• Нелинейные связи: хорошо захватывает сложные зависимости
• Устойчивость к выбросам: outliers меньше влияют
• Автоматическая обработка взаимодействий: не нужно вручную создавать признаки
• Работает без предобработки: не требует нормализации

Недостатки:

• Низкая интерпретируемость: сложно объяснить, как модель принимает решение
• Медленнее: требует больше вычислений
• Переобучение: при большой глубине деревьев может переучиться
• Требует больше данных: нужны большие датасеты

3. Сравнение на практике

from sklearn.model_selection import train_test_split
from sklearn.datasets import make_regression
import matplotlib.pyplot as plt

# Линейные данные
X_linear, y_linear = make_regression(n_samples=100, n_features=10, 
                                     noise=10, random_state=42)

# Нелинейные данные (sin функция)
X_nonlinear = np.linspace(-5, 5, 200).reshape(-1, 1)
y_nonlinear = np.sin(X_nonlinear.flatten()) + np.random.normal(0, 0.1, 200)

X_train, X_test, y_train, y_test = train_test_split(X_nonlinear, y_nonlinear, test_size=0.3)

# Обучаем обе модели
model_lr = LinearRegression()
model_lr.fit(X_train, y_train)

model_rf = RandomForestRegressor(n_estimators=50, max_depth=5, random_state=42)
model_rf.fit(X_train, y_train)

# Оценка на тесте
mse_lr = mean_squared_error(y_test, model_lr.predict(X_test))
mse_rf = mean_squared_error(y_test, model_rf.predict(X_test))

print(f"Линейная регрессия MSE: {mse_lr:.4f}")
print(f"Случайный лес MSE: {mse_rf:.4f}")

4. Когда использовать что

Используй линейную регрессию, если:

• Зависимость линейная
• Нужна интерпретируемость (банки, медицина)
• Мало данных
• Нужна скорость предсказания
• Хочешь простоту и объяснимость

Используй случайный лес, если:

• Зависимость нелинейная и сложная
• Много данных
• Можешь пожертвовать интерпретируемостью ради точности
• Есть выбросы в данных
• Нужны feature importance

5. Feature importance

Случайный лес дает встроенный способ оценки важности признаков:

feature_importance = model_rf.feature_importances_
for i, importance in enumerate(feature_importance):
    print(f"Feature {i}: {importance:.4f}")

6. Гибридный подход

# Можно комбинировать: создать нелинейные признаки для линейной регрессии
from sklearn.preprocessing import PolynomialFeatures

poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X_train)

model_poly = LinearRegression()
model_poly.fit(X_poly, y_train)

# Теперь линейная регрессия может захватить нелинейные связи

Вывод

Линейная регрессия — это простой и интерпретируемый инструмент для линейных задач. Случайный лес — это мощная модель, которая может захватить сложные нелинейные связи, но за счёт интерпретируемости. Выбор между ними зависит от задачи, данных и требований к объяснимости.