Что такое метод главных компонент?

Метод главных компонент (PCA)

Principal Component Analysis (PCA) — это один из самых популярных методов unsupervised learning для снижения размерности (dimensionality reduction) и выявления структуры в данных. Преобразует исходные признаки в новый набор главных компонент — линейных комбинаций исходных переменных, упорядоченных по убыванию объясняемой дисперсии.

Математическая суть

PCA ищет направления (векторы), вдоль которых данные имеют максимальную вариацию:

1. Центрирует данные: X̄ = X - mean(X)
2. Вычисляет ковариационную матрицу: Cov = (X̄ᵀ × X̄) / (n-1)
3. Находит собственные значения (eigenvalues) и собственные векторы (eigenvectors)
4. Сортирует по собственным значениям (большие → малые)
5. Проектирует данные на k главных компонент

Реализация на Python

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
import numpy as np

# Нормализация (очень важна!)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# PCA на 2 компоненты
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

# Процент объясняемой дисперсии
print(f"Explained variance: {pca.explained_variance_ratio_}")
# Output: [0.72, 0.15]  <- первая компонента объясняет 72% дисперсии

print(f"Total: {sum(pca.explained_variance_ratio_):.2%}")
# Output: 87%

# Как выбрать количество компонент
pca_full = PCA()
pca_full.fit(X_scaled)

# Кумулятивная дисперсия
cumsum = np.cumsum(pca_full.explained_variance_ratio_)
n_components = np.argmax(cumsum >= 0.95) + 1  # 95% дисперсии
print(f"Нужно {n_components} компонент для 95% дисперсии")

Интерпретация главных компонент

# Loadings - вклад каждого исходного признака в компоненты
loadings = pca.components_.T * np.sqrt(pca.explained_variance_)

for i, pc in enumerate(pca.components_):
    print(f"PC{i+1}: ", end="")
    for j, feature in enumerate(feature_names):
        if abs(pc[j]) > 0.3:  # Значимый вклад
            print(f"{feature}({pc[j]:.2f}) ", end="")
    print()

Применение

1. Визуализация данных Снижение с 50 измерений до 2-3D для графиков и анализа кластеров

2. Уменьшение шума Отбрасывание компонент с низкой дисперсией (они часто содержат только шум)

3. Ускорение обучения

# Вместо обучения на 1000 признаков
X_reduced = pca.transform(X)  # Только 50 компонент
model.fit(X_reduced, y)  # Намного быстрее!

4. Feature engineering Новые признаки как комбинации старых для моделей (деревья, линейные модели)

Плюсы и минусы

✅ Преимущества:

• Просто реализуется и понимается
• Вычислительно эффективен (O(n × p²))
• Хорошо работает на линейных структурах
• Помогает с collinearity

⚠️ Ограничения:

• Интерпретируемость главных компонент может быть сложной
• Работает только на линейных комбинациях
• Чувствителен к масштабу (требует нормализации)
• На нелинейных структурах неэффективен

Нелинейные альтернативы

Best Practices

1. Всегда нормализуй перед PCA (StandardScaler)
2. Выбирай компоненты по локтевому методу (elbow) или 95% дисперсии
3. Проверяй интерпретируемость новых признаков
4. Используй кроссвалидацию для выбора числа компонент
5. На производстве: сохраняй объект PCA (fitted на train данных) и применяй к новым данным