Что такое peeking problem в A/B тестировании и как его избежать?

Peeking Problem в A/B тестировании

Peeking problem (проблема раннего подглядывания) — это когда аналитик или продакт-менеджер смотрит на результаты A/B теста до того, как закончится статистический расчёт размера выборки. Это приводит к искажению результатов и неправильным выводам.

Суть проблемы

Когда вы смотрите на результаты раньше времени, вы увеличиваете вероятность типа I ошибки (false positive — признание неправильного результата верным). Классический уровень значимости α = 0.05 означает 5% вероятность ошибки, но при множественных взглядах на данные эта вероятность растёт экспоненциально.

Математика проблемы:

• Если смотреть 1 раз: P(ошибка) = 0.05
• Если смотреть 2 раза: P(ошибка) ≈ 0.098
• Если смотреть 5 раз: P(ошибка) ≈ 0.226
• Если смотреть 10 раз: P(ошибка) ≈ 0.401

При 10 взглядах риск false positive вырастает с 5% до 40%!

Практические последствия

1. Остановка теста раньше времени — если видите положительный результат на день 3 вместо запланированных 14 дней
2. Неправильные выводы — деплой изменения, которое на самом деле не работает
3. Упущенные возможности — закрытие теста с отрицательным результатом, хотя он мог развернуться
4. Потраченные ресурсы — запуск неработающих фич, потеря денег и пользователей

Как избежать peeking problem

1. Фиксированный размер выборки (pre-registration)

Заранее рассчитайте необходимый размер выборки на основе:

• Effect size (ожидаемая разница между группами)
• Statistical power (обычно 80%)
• Significance level (α = 0.05)
• Baseline conversion rate

2. Запрет на промежуточные проверки

• Заморозьте доступ к dashboard с результатами до конца теста
• Установите дату окончания и придерживайтесь её
• Используйте календари — отмечайте, когда тест должен закончиться

3. Sequential testing

Если нужны промежуточные проверки, используйте специальные методы для контроля ошибки I типа.

4. Always Correct Testing

Популярный подход от Optimizely — можно смотреть на результаты в любой момент, используя специальную математику.

5. Pre-registration документ

Публикуйте тестовый план перед запуском:

• Первичная метрика
• Размер выборки и размер эффекта
• Дата запуска и окончания
• Критерии остановки
• Методология анализа

Чеклист для Product Analyst

• Рассчитал размер выборки перед запуском
• Опубликовал тестовый план (pre-registration)
• Установил фиксированную дату окончания
• Не смотрю на результаты до конца теста
• Использую статистически корректные методы анализа
• Документирую все решения о ранней остановке
• Проверяю на множественное сравнение (multiple testing correction)

Главное: дисциплина в A/B тестировании — это 80% успеха. Устойте к искушению подглядеть, и результаты будут надёжными.