Можно ли в Random Forest использовать данные разного масштаба?

Random Forest и масштабирование данных: полный анализ

Вопрос о необходимости масштабирования (нормализации) данных для Random Forest — один из самых частых при разработке ML моделей. Ответ: ДА, можно использовать данные разного масштаба, но это требует уточнений и имеет важные нюансы.

Почему Random Forest устойчив к масштабированию?

1. Природа алгоритма — расщепления по порогам

Random Forest принимает решения на основе расщеплений признаков по значениям:

if feature_i < threshold_j:
    go_left()
else:
    go_right()

Этот порог — это просто число на оси признака. Независимо от того, зарплата измеряется в рублях (50000) или в тысячах рублей (50), алгоритм найдёт оптимальный порог расщепления. Порог просто будет другим, но разделяющая граница останется той же.

2. Инвариантность к монотонным преобразованиям

Разделение, созданное на исходных данных:

Feature X < 100  →  класс A
Feature X >= 100 →  класс B

Останется разделением и после масштабирования:

Feature X' (нормализованный) < threshold'  →  класс A
Feature X' >= threshold'  →  класс B

Относительный порядок и группировка данных не меняются.

Когда масштабирование НЕ нужно

✅ Random Forest, Extra Trees, Decision Trees:

from sklearn.ensemble import RandomForestClassifier
from sklearn.preprocessing import StandardScaler
import numpy as np

# Данные с разными масштабами
X = np.array([
    [50000, 25],      # Зарплата (рубли), возраст (года)
    [75000, 35],
    [30000, 22],
    [120000, 45]
])
y = np.array([0, 1, 0, 1])

# Вариант 1: БЕЗ масштабирования (работает отлично!)
rf_no_scale = RandomForestClassifier(random_state=42)
rf_no_scale.fit(X, y)
score1 = rf_no_scale.score(X, y)

# Вариант 2: С масштабированием (даст тот же результат)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
rf_scaled = RandomForestClassifier(random_state=42)
rf_scaled.fit(X_scaled, y)
score2 = rf_scaled.score(X_scaled, y)

print(f"Без масштабирования: {score1}")
print(f"С масштабированием: {score2}")
# Результаты ОДИНАКОВЫЕ (качество модели не изменилось)

Также не нужно масштабировать:

• Gradient Boosting (XGBoost, LightGBM, CatBoost)
• Любые модели на основе деревьев
• Логистическая регрессия обучена на деревьях (но для самой регрессии — нужно)

Когда масштабирование ОБЯЗАТЕЛЬНО

❌ Расстояние-зависимые алгоритмы:

from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler

# KNN вычисляет расстояния между точками
knn = KNeighborsClassifier(n_neighbors=3)

# БЕЗ масштабирования — катастрофа!
# Зарплата (50000 vs 75000 = разница 25000)
# Возраст (22 vs 25 = разница 3)
# Зарплата полностью доминирует в расстоянии!
knn_bad = KNeighborsClassifier().fit(X, y)  # Плохо!

# С масштабированием — правильно
X_scaled = StandardScaler().fit_transform(X)
knn_good = KNeighborsClassifier().fit(X_scaled, y)  # Хорошо!

Обязательное масштабирование для:

• KNN, KMeans, DBSCAN (расстояние)
• SVM (расстояние + скорость обучения)
• Линейная регрессия / логистическая регрессия (градиентный спуск)
• Нейронные сети (градиентный спуск)
• Метрики типа косинусного сходства

Теоретическое доказательство

Представим расщепление в узле дерева:

info_gain = entropy_parent - (p_left * entropy_left + p_right * entropy_right)

Эта формула зависит только от распределения классов, а не от значений признаков. Порядок сохраняется при любом масштабировании:

# Original
X = [10, 20, 30, 40]
# Split: X < 25 → [10, 20] vs [30, 40]

# После масштабирования (Z-score)
X_scaled = [-1.34, -0.45, 0.45, 1.34]
# Split: X_scaled < 0 → [-1.34, -0.45] vs [0.45, 1.34]
# ОДНА И ТА ЖЕ разбивка!

Практические рекомендации

Стратегия для Random Forest:

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 1. Можно использовать данные без масштабирования
rf = RandomForestClassifier(
    n_estimators=100,
    max_depth=10,
    random_state=42,
    n_jobs=-1  # Параллелизм
)

rf.fit(X_train, y_train)
pred = rf.predict(X_test)
print(f"Accuracy: {accuracy_score(y_test, pred)}")

# 2. ОДНАКО, рекомендую масштабировать для:
#    - Единообразного пайплайна (Same preprocessing for all)
#    - Интерпретируемости коэффициентов важности
#    - Если нужна совместимость с другими алгоритмами

from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('rf', RandomForestClassifier(random_state=42))
])

pipeline.fit(X_train, y_train)

Исключение: дисбаланс важности признаков

Хотя Random Forest теоретически независим от масштаба, есть практический случай:

# Проблема: признаки с БОЛЬШИМ разбросом значений
# могут получить более высокую важность (feature_importance)
# благодаря большему числу возможных расщеплений

# Пример:
X = np.array([
    [1, 1000],  # Признак 1: [0-100], Признак 2: [0-10000]
    [50, 5000],
    [100, 9000]
])

rf = RandomForestClassifier()
rf.fit(X, y)
print(rf.feature_importances_)  # Признак 2 может быть переоценён

# Решение: масштабировать для корректной интерпретации feature importance
X_scaled = StandardScaler().fit_transform(X)
rf.fit(X_scaled, y)
print(rf.feature_importances_)  # Более справедливо

Итоговая таблица

Вывод

Да, можно использовать данные разного масштаба в Random Forest. Алгоритм полностью инвариантен к монотонным преобразованиям масштаба благодаря природе расщеплений по порогам. Однако для единообразия пайплайна и корректной интерпретации важности признаков рекомендуется всё же применять стандартизацию.