В чем разница между t-тестом и тестом Манна-Уитни?

Различия между t-тестом и тестом Манна-Уитни

Это два статистических теста для сравнения двух групп данных, но они используются в разных ситуациях. Как Product Manager, важно понимать, когда какой тест применять при анализе экспериментов (A/B тестов).

1. t-test (t-тест Стьюдента)

Определение: Параметрический статистический тест для сравнения средних значений двух групп, предполагая нормальное распределение данных.

Когда использовать:

• Данные распределены нормально (близко к колокольчику)
• Размер выборки больше 30 элементов
• Сравниваются средние значения (average, mean)
• Примеры: время загрузки страницы, CTR (click-through rate), конверсия

Предположения (assumptions):

• Данные нормально распределены
• Дисперсии групп примерно равны
• Данные независимы
• Переменная непрерывная

Пример из продакта:

A/B тест: "Новый дизайн кнопки"
Группа A (контроль): 100 пользователей, avg CTR = 4.2%
Группа B (вариант): 100 пользователей, avg CTR = 4.8%

t-test скажет: есть ли статистически значимая разница
знач отличие или это просто случайность?

Результат: p-value = 0.045 (< 0.05) → есть значимое отличие

Преимущества:

• Мощный тест (хорошо находит разницы)
• Быстрый расчет
• Хорошо изучен и документирован

Недостатки:

• Требует нормального распределения
• Чувствителен к выбросам (outliers)
• Может дать неправильный результат при нарушении предположений

2. Mann-Whitney U test (Тест Манна-Уитни)

Определение: Непараметрический тест для сравнения двух независимых групп, не требующий предположения о нормальном распределении.

Когда использовать:

• Данные НЕ распределены нормально (асимметричные, скошенные)
• Маленькие выборки (< 30 элементов)
• Есть выбросы, которые сложно удалить
• Порядковые данные (ranking, categories)
• Примеры: время до первого клика, дохода на пользователя, рейтинги

Предположения:

• Данные независимы
• Вместо нормального распределения проверяется только, что распределения имеют одинаковую форму
• Может быть асимметричное распределение

Пример из продакта:

A/B тест: "Новый способ оплаты"
Группа A: количество шагов до покупки [3,4,2,5,200,2,3,2] (есть выброс 200!)
Группа B: количество шагов до покупки [2,3,2,4,2,3,3,2] (нормально)

t-test даст неправильный результат (выброс 200 сильно влияет на среднее)
Манн-Уитни тест работает с рангами, поэтому не будет испорчен выбросом

Результат: p-value = 0.12 (> 0.05) → нет значимой разницы

3. Сравнительная таблица

4. Как понять, какой тест использовать

Шаг 1: Проверка нормальности распределения

• Визуально: нарисовать гистограмму (похожа на колокольчик = нормальное)
• Тестом: Shapiro-Wilk test (если p > 0.05 → нормальное)
• Правило большого пальца: если > 30 элементов → можно считать нормальным

Шаг 2: Проверка выбросов

• Есть ли странные значения в 10 раз больше других?
• Если да → используй Mann-Whitney

Шаг 3: Размер выборки

• Маленькая выборка + ненормальное распределение → Mann-Whitney
• Большая выборка + нормальное распределение → t-test

Практический алгоритм выбора:

Есть ли выбросы? → ДА → Mann-Whitney
                ↓ НЕТ
Размер < 30?    → ДА → Шаг за шагом проверять
                ↓ НЕТ
Данные нормальные? → ДА → t-test
                   ↓ НЕТ
                   Mann-Whitney

5. Практический пример: A/B тест конверсии

Сценарий: Тестируем новый checkout page

Данные:

• Группа A (контроль): 5000 пользователей, конверсия в покупку
• Группа B (новый checkout): 5000 пользователей

Анализ:

Группа A: [0,1,0,0,1,0,1,0,0,1] (бинарные данные)
Группа B: [0,1,1,0,1,0,1,1,0,1]

Средняя конверсия:
A: 4/10 = 40%
B: 6/10 = 60%

Что выбрать?
- Размер выборки > 30 ✓
- Бинарные данные (не совсем нормальное) ~
- Нет выбросов ✓

Можно использовать t-test, но лучше использовать Welch's t-test
(более конкретный вариант для разных дисперсий)

6. Как это работает в реальности

В аналитических инструментах (Mixpanel, Amplitude, Statsig):

• Большинство платформ автоматически выбирают тест
• Обычно используют t-test (быстрее, стандартнее)
• Если есть подозрение на проблемы → используют Mann-Whitney
• Результат: p-value < 0.05 → есть значимое отличие

В Python (scipy):

from scipy import stats

# t-test
t_stat, p_value = stats.ttest_ind(group_a, group_b)

# Mann-Whitney U test
u_stat, p_value = stats.mannwhitneyu(group_a, group_b)

Вывод

Для 90% A/B тестов в продакте подойдет t-test (большие выборки, данные хорошего качества). Но хороший PM должен знать про Mann-Whitney для случаев с выбросами или малыми выборками. Ключ — всегда проверять предположения теста перед использованием результатов для принятия решений.