Для каких моделей предпочтителен One-Hot Encoding, а для каких нет

One-Hot Encoding: применимость для разных моделей

One-Hot Encoding — это популярный метод кодирования категориальных переменных, но его применимость зависит от типа модели. Некоторые модели требуют one-hot, другие работают лучше с альтернативными подходами.

Когда One-Hot Encoding ПРЕДПОЧТИТЕЛЕН

1. Линейные модели (Linear Regression, Logistic Regression)

from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import OneHotEncoder

df = pd.DataFrame({'color': ['red', 'blue', 'green']})
encoded = OneHotEncoder(sparse=False).fit_transform(df[['color']])

model = LogisticRegression()
model.fit(encoded, y_train)

Почему: Линейные модели требуют численные признаки. One-hot сохраняет структуру категорий.

2. SVM (Support Vector Machine)

SVM работает с расстояниями между точками, поэтому нужны численные признаки.

3. Нейросети с полносвязными слоями

import torch.nn as nn

model = nn.Sequential(
    nn.Linear(10, 64),  # 10 = one-hot размер
    nn.ReLU(),
    nn.Linear(64, 1)
)

4. K-Means и дистанцобазированные методы

Этим методам нужны численные признаки для расчета расстояний.

Когда One-Hot Encoding НЕ предпочтителен

1. Древесные модели (Decision Trees, Random Forest)

from sklearn.ensemble import RandomForestClassifier

# НЕ нужен one-hot! Модели работают с категориями напрямую
df['color_encoded'] = pd.factorize(df['color'])[0]

model = RandomForestClassifier()
model.fit(df[['color_encoded']], y_train)

Почему:

• Деревья работают с признаками независимо
• One-Hot создает много признаков (проклятие размерности)
• Label encoding работает также хорошо, но быстрее

2. Gradient Boosting (XGBoost, LightGBM, CatBoost)

import lightgbm as lgb

# LightGBM имеет native support для категорий
X['color'] = X['color'].astype('category')
model = lgb.LGBMClassifier(categorical_features=['color'])
model.fit(X, y_train)

CatBoost еще лучше:

from catboost import CatBoostClassifier

# CatBoost сам обрабатывает категории!
model = CatBoostClassifier(cat_features=['color', 'size'])
model.fit(X, y_train)  # Передай как есть

3. Нейросети с Embedding слоями

import torch.nn as nn

class Model(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.fc = nn.Linear(embedding_dim, 1)
    
    def forward(self, x):
        x = self.embedding(x)  # Индекс -> плотный вектор
        return self.fc(x)

Почему: Embedding слои более эффективны и экономят память.

Сравнительная таблица

Проблема: Проклятие размерности

data = pd.DataFrame({
    'city': ['NYC', 'LA', 'Chicago', ...],  # 1000 городов
    'country': ['USA', 'Canada', ...]        # 50 стран
})

# После One-Hot: 1050 признаков вместо 2!
X_onehot = OneHotEncoder().fit_transform(data)
print(X_onehot.shape)  # (N, 1050)

Решение для древесных моделей:

# Label encoding: 2 признака
from sklearn.preprocessing import LabelEncoder

le_city = LabelEncoder()
data['city_encoded'] = le_city.fit_transform(data['city'])

print(data[['city_encoded']].shape)  # (N, 1)

Лучшие практики

1. Для линейных моделей и SVM → используй one-hot encoding
2. Для древесных моделей → используй label encoding (быстрее, меньше памяти)
3. Для gradient boosting → используй встроенную поддержку категорий
4. Для нейросетей → используй embedding слои (если много категорий)
5. Остерегайся → one-hot может создать тысячи признаков для высококардинальных категорий

Чек-лист выбора

• Линейная модель? → one-hot
• Дерево/лес? → label encoding
• LightGBM/CatBoost? → встроенная поддержка
• Нейросеть? → embedding или one-hot
• Много категорий (>100)? → embedding, не one-hot