Коэффициент корреляции равен 0, можно ли утверждать независимость случайных величин?

Коэффициент корреляции и независимость случайных величин

Краткий ответ: НЕТ! Коэффициент корреляции, равный 0, не означает независимость случайных величин. Корреляция измеряет только линейную связь, а независимость — это более сильное условие, которое исключает любую связь между величинами.

Основные определения

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import pearsonr, spearmanr

print("ОПРЕДЕЛЕНИЯ:")
print("="*60)

print("\n1. КОРРЕЛЯЦИЯ (Pearson):")
print("   Формула: r = Cov(X, Y) / (std(X) * std(Y))")
print("   Диапазон: от -1 до +1")
print("   - r = 1: полная положительная линейная связь")
print("   - r = 0: нет линейной связи")
print("   - r = -1: полная отрицательная линейная связь")
print("   Важно: измеряет только ЛИНЕЙНУЮ зависимость!")

print("\n2. НЕЗАВИСИМОСТЬ:")
print("   X и Y независимы, если P(X,Y) = P(X)*P(Y)")
print("   Или: f(x,y) = f_X(x) * f_Y(y)")
print("   Независимость исключает ВСЕ виды связи (не только линейную)")
print("   Это СТРОГОЕ условие!")

print("\n3. ОТНОШЕНИЕ:")
print("   Независимость => Некоррелированность (корреляция = 0)")
print("   Но НЕ наоборот!")
print("   Некоррелированность может скрывать нелинейную связь")

Примеры: корреляция = 0, но ЗАВИСИМЫЕ величины

Пример 1: Квадратичная связь

np.random.seed(42)
X = np.linspace(-3, 3, 100)
Y = X**2 + np.random.normal(0, 0.5, len(X))  # Y = X^2 + шум

# Вычисляем корреляцию
corr, p_value = pearsonr(X, Y)
print(f"\nПример 1: Y = X^2")
print(f"Корреляция (Pearson): {corr:.4f}")
print(f"p-value: {p_value:.4f}")

if abs(corr) < 0.1:
    print("\nВывод: корреляция ≈ 0")
else:
    print(f"\nВывод: корреляция {corr:.2f} (не нулевая)")

# Визуализация
plt.figure(figsize=(10, 4))
plt.subplot(1, 2, 1)
plt.scatter(X, Y, alpha=0.5)
plt.xlabel('X')
plt.ylabel('Y = X^2')
plt.title(f'Y зависит от X, но корреляция = {corr:.2f}')
plt.grid(True)

# Но есть СИЛЬНАЯ нелинейная связь!
plt.subplot(1, 2, 2)
X_sorted = np.sort(X)
Y_sorted = Y[np.argsort(X)]
plt.plot(X_sorted, Y_sorted, 'r-', linewidth=2, label='Тренд Y=X^2')
plt.scatter(X, Y, alpha=0.3)
plt.xlabel('X')
plt.ylabel('Y')
plt.title('Ясно видна нелинейная зависимость')
plt.legend()
plt.grid(True)
plt.tight_layout()
plt.show()

print("\nВЫВОД: Есть СИЛЬНАЯ зависимость (Y полностью определяется X),")
print("но линейная корреляция ≈ 0 из-за симметричности Y = X^2")

Пример 2: Окружность

theta = np.linspace(0, 2*np.pi, 100)
X = np.cos(theta)
Y = np.sin(theta)

corr, _ = pearsonr(X, Y)
print(f"\nПример 2: точки на единичной окружности")
print(f"Корреляция: {corr:.4f}")
print(f"Точки X и Y связаны (X^2 + Y^2 = 1)")
print(f"Но линейная корреляция близка к 0!")

plt.figure(figsize=(8, 8))
plt.scatter(X, Y, alpha=0.5, s=50)
plt.xlabel('X = cos(θ)')
plt.ylabel('Y = sin(θ)')
plt.title(f'Окружность: корреляция = {corr:.2f}\nНо X и Y ЗАВИСИМЫ: X^2 + Y^2 = 1')
plt.grid(True)
plt.axis('equal')
plt.show()

Пример 3: Кубическая функция

X = np.random.uniform(-2, 2, 500)
Y = X**3 + np.random.normal(0, 0.3, len(X))

corr, _ = pearsonr(X, Y)
print(f"\nПример 3: Y = X^3")
print(f"Корреляция: {corr:.4f}")
print(f"Это выглядит как слабая корреляция...")
print(f"Но на самом деле Y полностью функционально зависит от X!")

# Но это не совсем 0 из-за асимметрии куба

Пример 4: Синусоида

X = np.linspace(0, 2*np.pi, 100)
Y = np.sin(X)

corr, _ = pearsonr(X, Y)
print(f"\nПример 4: Y = sin(X)")
print(f"Корреляция: {corr:.4f}")
print(f"Y полностью определяется X через Y = sin(X)")
print(f"Но корреляция ≈ 0 из-за нелинейности!")

plt.figure(figsize=(10, 4))
plt.scatter(X, Y, alpha=0.5)
plt.plot(X, Y, 'r-', linewidth=2, label='Y = sin(X)')
plt.xlabel('X')
plt.ylabel('Y')
plt.title(f'Y = sin(X): функциональная зависимость, но r = {corr:.2f}')
plt.legend()
plt.grid(True)
plt.show()

Математическое доказательство

print("\nМАТЕМАТИЧЕСКОЕ ОБОСНОВАНИЕ:")
print("="*60)

print("\nДля независимых величин (X ⊥⊥ Y):")
print("1. Cov(X, Y) = E[XY] - E[X]E[Y] = 0")
print("2. Корреляция r = 0")
print("3. ВСЕ смешанные моменты факторизуются")
print("\nДля коррелированных величин (r = 0):")
print("1. Cov(X, Y) = 0")
print("2. Но могут быть высшие моменты!")
print("3. E[X * Y^3] может быть ≠ E[X] * E[Y^3]")
print("4. Это означает зависимость")

print("\nПРИМЕР:")
print("X ~ N(0, 1), Y = X^2 - 1")
print("E[X] = 0, E[Y] = E[X^2 - 1] = 1 - 1 = 0")
print("E[XY] = E[X(X^2 - 1)] = E[X^3] - E[X] = 0 - 0 = 0")
print("=> Cov(X, Y) = 0 - 0*0 = 0")
print("=> r = 0")
print("\nНо Y ЗАВИСИТ от X!")

Как правильно проверить независимость

from scipy.stats import chi2_contingency
from sklearn.preprocessing import StandardScaler

print("\nМЕТОДЫ ПРОВЕРКИ НЕЗАВИСИМОСТИ:")
print("="*60)

print("\n1. КОРРЕЛЯЦИЯ СПИРМЕНА (Spearman's rank correlation):")
print("   Более устойчива к нелинейным монотонным зависимостям")
X = np.array([1, 2, 3, 4, 5])
Y = X**2
spearman_corr, _ = spearmanr(X, Y)
pearson_corr, _ = pearsonr(X, Y)
print(f"   X = {list(X)}, Y = X^2 = {list(Y)}")
print(f"   Pearson: {pearson_corr:.4f}")
print(f"   Spearman: {spearman_corr:.4f}")
print(f"   Spearman лучше ловит зависимость!")

print("\n2. ВЗАИМНАЯ ИНФОРМАЦИЯ (Mutual Information):")
print("   Měří информационную связь между переменными")
print("   I(X; Y) = 0 ⟺ независимость")
print("   Работает для любых видов связи")

from sklearn.feature_selection import mutual_info_regression
X_2d = X.reshape(-1, 1)
mi = mutual_info_regression(X_2d, Y, random_state=42)
print(f"   Взаимная информация I(X, Y) = {mi[0]:.4f}")
print(f"   Видит нелинейную зависимость!")

print("\n3. ПРОВЕРКА НЕЗАВИСИМОСТИ ДЛЯ КАТЕГОРИАЛЬНЫХ:")
print("   Chi-square тест")
print("   H0: X и Y независимы")
print("   Если p < 0.05: отвергаем независимость")

print("\n4. СТАТИСТИЧЕСКИЙ ТЕСТ НЕЗАВИСИМОСТИ:")
print("   Maximal Correlation (MIC - Maximal Information Coefficient)")
from minepy import MINE
print("   Требует: pip install minepy")
print("   Находит максимальную корреляцию для любого паттерна")

print("\n5. АНАЛИЗ ОСТАТКОВ:")
print("   После регрессии Y ~ f(X)")
print("   Если остатки случайны => независимость")
print("   Если остатки коррелируют с X => зависимость")

Практический пример: регрессионный анализ

from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures

np.random.seed(42)
X = np.linspace(-3, 3, 50).reshape(-1, 1)
Y = X.ravel()**2 + np.random.normal(0, 0.5, len(X))

# Линейная регрессия
lr = LinearRegression()
lr.fit(X, Y)
y_pred = lr.predict(X)

# Анализ остатков
residuals = Y - y_pred.ravel()

plt.figure(figsize=(12, 4))

plt.subplot(1, 3, 1)
plt.scatter(X, Y, alpha=0.5)
plt.plot(X, y_pred, 'r-', linewidth=2, label='Линейная регрессия')
plt.xlabel('X')
plt.ylabel('Y')
plt.title('Y = X^2 + шум')
plt.legend()
plt.grid(True)

plt.subplot(1, 3, 2)
plt.scatter(X, residuals, alpha=0.5)
plt.axhline(y=0, color='r', linestyle='--')
plt.xlabel('X')
plt.ylabel('Остатки')
plt.title('Остатки показывают зависимость!')
plt.grid(True)

# Полиномиальная регрессия (Y ~ X^2)
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X)
lr_poly = LinearRegression()
lr_poly.fit(X_poly, Y)
y_pred_poly = lr_poly.predict(X_poly)
residuals_poly = Y - y_pred_poly

plt.subplot(1, 3, 3)
plt.scatter(X, residuals_poly, alpha=0.5, label='Полином степени 2')
plt.axhline(y=0, color='r', linestyle='--')
plt.xlabel('X')
plt.ylabel('Остатки')
plt.title('Остатки случайны (модель правильна)')
plt.legend()
plt.grid(True)

plt.tight_layout()
plt.show()

print("Вывод: нелинейная зависимость видна в остатках линейной регрессии")

Таблица взаимосвязей

print("\nТАБЛИЦА ВЗАИМОСВЯЗЕЙ:")
print("="*60)
print("\n                      | Зависимы | Независимы")
print("-----------------------------------------")
print("Корреляция = 0        |    ДА    |    ДА")
print("Корреляция ≠ 0        |    ДА    |    НЕТ")
print("-----------------------------------------")
print("\nСМЫСЛ: Корреляция = 0 ТРЕБУЕТСЯ для независимости,")
print("но НЕДОСТАТОЧНА!")

Практические рекомендации

print("\nЧТО ДЕЛАТЬ НА ПРАКТИКЕ:")
print("="*60)
print("\n1. Всегда визуализируйте данные:")
print("   - Scatter plot")
print("   - 2D гистограмма")
print("   - Контурный график")

print("\n2. Вычислите несколько коэффициентов:")
print("   - Pearson (линейная)")
print("   - Spearman (монотонная)")
print("   - Kendall's Tau")

print("\n3. Для важных выводов:")
print("   - Используйте Mutual Information")
print("   - Проверьте Максимальную Корреляцию (MIC)")
print("   - Проведите статистические тесты")

print("\n4. Помните:")
print("   - r = 0 ≠ независимость")
print("   - Зависимость может быть нелинейной")
print("   - Всегда смотрите на данные!")

ЗАКЛЮЧЕНИЕ: Коэффициент корреляции, равный 0, означает только отсутствие линейной связи. Для проверки настоящей независимости нужны другие методы, которые могут обнаружить нелинейные и другие типы зависимостей.