Какие методы проверки статистических гипотез вы знаете? Когда применять t-тест, а когда хи-квадрат?

Методы проверки статистических гипотез

Проверка гипотез — это основной инструмент статистического анализа, который помогает判断观察到的差异是真实的还是仅仅是随机变异。В контексте Product Analytics это критично для A/B тестирования и оценки метрик.

Основные методы

t-тест (t-test) применяется для сравнения средних значений двух групп когда:

• Данные следуют нормальному распределению
• Размер выборки относительно небольшой (< 30-50)
• Дисперсии групп примерно равны (для обычного t-теста)
• Измеряем количественные переменные

Примеры использования:

• Средняя выручка на пользователя в группе A vs группе B
• Среднее время сеанса пользователей
• Средняя стоимость заказа

-- Пример: сравнение средних значений метрики
SELECT 
  variant,
  AVG(revenue) as avg_revenue,
  STDDEV(revenue) as stddev_revenue,
  COUNT(*) as sample_size
FROM user_events
WHERE experiment_id = 'test_123'
GROUP BY variant;

Хи-квадрат (Chi-square) применяется для сравнения категориальных данных и тестирования независимости когда:

• Работаем с категориями/классами
• Оцениваем частоты распределения
• Проверяем соответствие эмпирического распределения теоретическому

Примеры использования:

• Конверсия (конвертировал/не конвертировал)
• Тип подписки (free/premium/enterprise)
• Разделение по странам или устройствам

-- Пример: таблица сопряженности для хи-квадрат
SELECT 
  variant,
  converted,
  COUNT(*) as count
FROM conversions
WHERE test_id = 'test_456'
GROUP BY variant, converted
ORDER BY variant, converted;

Дополнительные методы

ANOVA (Analysis of Variance) — расширение t-теста для сравнения более 2 групп.

Mann-Whitney U тест — непараметрический аналог t-теста, когда данные не нормально распределены.

Тест пропорций — специальный случай хи-квадрата для двух групп с конверсией.

Как выбрать?

Практический подход в Product Analytics

1. Определи тип данных — непрерывные (количественные) vs категориальные
2. Проверь предположения — нормальность, равенство дисперсий
3. Выбери значимость — обычно α = 0.05
4. Рассчитай p-value — если p < 0.05, отвергаем нулевую гипотезу
5. Интерпретируй результаты — не забывай про размер эффекта и практическую значимость

Важно помнить: статистическая значимость ≠ практическая значимость. Огромный размер выборки может дать значимость даже для микроскопических различий, которые не стоят того, чтобы разворачивать их в продакшене.