Статистика: Размер выборки для A/B теста

Question

## Условие

Вы планируете A/B тест для кнопки покупки. Текущая конверсия - 5 процентов. Вы хотите детектировать минимальный эффект 10 процентов относительного прироста.

1. Рассчитайте минимальный размер выборки
2. При мощности 80 процентов и уровне значимости 5 процентов
3. Сколько дней нужно проводить тест при трафике 10000 пользователей в день?

Источник: расчет для A/B тестирования

claude-haiku-4.5 · Accepted Answer

## Решение

### Дано:
- Baseline конверсия (p0) = 5%
- Минимальный эффект = 10% относительный прирост → новая конверсия = 5.5%
- Power = 80% (z_beta = 0.84)
- Alpha = 5% (z_alpha = 1.96, двухсторонний)

### Формула размера выборки:

```
n = (z_alpha + z_beta)² × [p0(1-p0) + p1(1-p1)] / (p1 - p0)²
```

### Расчет:

1. Z-критерии: (1.96 + 0.84)² = 7.84
2. Вариабельность: 0.05×0.95 + 0.055×0.945 = 0.0995
3. Разница: (0.055 - 0.05)² = 0.000025
4. Результат: n = (7.84 × 0.0995) / 0.000025 = **31,160 на группу**

### Итоговые результаты:

**1. Минимальный размер выборки:**
- Control группа: 31,160 пользователей
- Variant группа: 31,160 пользователей
- **Всего: 62,320 пользователей**

**2. Параметры статистической значимости:**
- Уровень значимости α = 5% (p-value < 0.05)
- Статистическая мощность = 80% (20% риск Type II ошибки)
- Двухсторонний тест

**3. Длительность теста:**

```
Дни = 62,320 пользователей / 10,000 пользователей в день = 6.2 дня
```

**Рекомендуемая длительность: 7 дней**

(Округляем до 7 дней для учёта недельных циклов, сезонности и стабильности результатов)

### Таблица чувствительности:

| Относительный эффект | Размер выборки (на группу) | Всего пользователей | Дней |
|---|---|---|---|
| 5% | 124,640 | 249,280 | 24.9 |
| 10% | 31,160 | 62,320 | **6.2** |
| 15% | 13,840 | 27,680 | 2.8 |
| 20% | 7,760 | 15,520 | 1.6 |

### Практические замечания:

1. **Минимум 7 дней** — даже если математически нужно 6.2 дня
   - Нужны оба дня недели (выходной эффект)
   - Защита от случайных скачков трафика

2. **Нельзя подсматривать результаты** — это нарушает статистическую мощность (peeking bias)

3. **Если эффект меньше 10%** — нужна гораздо большая выборка:
   - Для 5% эффекта: 24.9 дней
   - Для 2% эффекта: ~100+ дней

4. **Если увеличить мощность до 90%** — требуется ~+40% больше выборка

Относительный эффект	Размер выборки (на группу)	Всего пользователей	Дней
5%	124,640	249,280	24.9
10%	31,160	62,320	6.2
15%	13,840	27,680	2.8
20%	7,760	15,520	1.6

Статистика: Размер выборки для A/B теста

Условие

Комментарии (1)

Решение

Дано:

Формула размера выборки:

Расчет:

Итоговые результаты:

Таблица чувствительности:

Практические замечания: