Какие модели классификации или регрессии использовал?

Модели классификации и регрессии в практической работе

За 10+ лет работы в Data Science я применял широкий спектр моделей, выбирая их в зависимости от задачи, размера данных и требований к интерпретируемости.

Модели классификации

Логистическая регрессия — моя первая линия защиты. Она быстрая, интерпретируемая и часто показывает отличные результаты на линейно разделяемых данных. Использую её для baseline и когда нужна объяснимость.

Random Forest — универсальный инструмент, который часто становится рабочей лошадкой. Устойчив к выбросам, справляется с нелинейными зависимостями, не требует нормализации признаков. На проекте по предсказанию оттока клиентов RF показала 87% AUC-ROC без тонкой настройки гиперпараметров.

Gradient Boosting (XGBoost, LightGBM, CatBoost) — когда нужна максимальная точность. XGBoost использовал для kaggle-задач, LightGBM предпочитаю на больших датасетах (>1M строк) из-за скорости, CatBoost отличен при работе с категориальными признаками без предварительной кодировки.

SVM (Support Vector Machines) — выбираю при небольшом числе признаков и среднем объёме данных (100K-500K). Хорошо работает с высокомерными данными.

Neural Networks (Deep Learning) — использовал для текстовых данных (NLP) и больших табличных датасетов с миллионами строк. На проекте по классификации тех.поддержки применил BiLSTM для обработки текстов запросов с точностью 92%.

Модели регрессии

Linear Regression — всегда начинаю отсюда для понимания зависимостей. Простая, интерпретируемая, быстрая.

Ridge/Lasso Regression — когда есть мультиколлинеарность или нужна регуляризация. Lasso полезна для отбора признаков (обнуляет коэффициенты неважных переменных).

Random Forest Regression — стандартный выбор для нелинейных зависимостей. Использовал для предсказания цен недвижимости с RMSE на 15% ниже линейной модели.

Gradient Boosting для регрессии — LightGBM применял на проекте прогнозирования спроса товаров. Получил MAE = 3.2% от среднего значения целевой переменной.

Примеры реальных проектов

# Классификация: предсказание покупки (Logistic Regression + Feature Engineering)
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

pipeline = Pipeline([
    (scaler, StandardScaler()),
    (model, LogisticRegression(max_iter=1000, class_weight=balanced))
])
pipeline.fit(X_train, y_train)
proba = pipeline.predict_proba(X_test)[:, 1]  # Вероятности для ROC-AUC

# Регрессия: прогнозирование выручки (XGBoost)
import xgboost as xgb

model = xgb.XGBRegressor(
    n_estimators=200,
    max_depth=5,
    learning_rate=0.1,
    subsample=0.8,
    colsample_bytree=0.8,
    random_state=42
)
model.fit(X_train, y_train, eval_set=[(X_val, y_val)], early_stopping_rounds=20)
predictions = model.predict(X_test)

Как выбираю модель

1. Размер данных: <10K — любая модель, >1M — LightGBM/Neural Networks
2. Интерпретируемость: нужна объяснимость → Логистическая регрессия/Decision Tree
3. Тип признаков: много категориальных → CatBoost, табличные → XGBoost
4. Скорость обучения: важна скорость → LightGBM, можно ждать → XGBoost
5. Баланс классов: дисбаланс → применяю class_weight=balanced и SMOTE

Валидация и метрики

Для классификации использую:

• AUC-ROC — универсальная метрика для всех наборов данных
• Precision/Recall — когда важна специфическая ошибка
• F1-score — баланс между точностью и полнотой

Для регрессии:

• RMSE — наиболее чувствительна к большим ошибкам
• MAE — более устойчива к выбросам
• MAPE — для оценки в процентах от истинных значений

Всегда применяю кросс-валидацию (5-fold) и проверяю на отдельном тестовом наборе.