Какая вероятность ошибки что конверсия вырастет если она выросла в A/B тесте?

Вероятность ошибки при росте конверсии в A/B тесте

Это вопрос о TYPE I и TYPE II ошибках, которые критичны в статистическом тестировании.

Вероятность ошибки первого рода (Type I Error)

Это вероятность отклонить нулевую гипотезу, когда она на самом деле верна. Другими словами, мы думаем что конверсия выросла, а на самом деле это просто случайность.

Обозначается: alpha (α) = обычно 0.05 (5%)

Интерпретация: если мы установили α = 5%, то в 5% случаев мы ошибемся, заявив что конверсия выросла, когда на самом деле никакого роста нет.

Вероятность ошибки второго рода (Type II Error)

Это вероятность НЕ отклонить нулевую гипотезу, когда она на самом деле ложна. Конверсия ДЕЙСТВИТЕЛЬНО выросла, но тест это не обнаружил.

Обозначается: beta (β), обычно 0.2 (20%)

Power теста = 1 - β = 0.8 (80%) — вероятность правильно обнаружить эффект

На практике

Если A/B тест показал p-value = 0.03 (< 0.05):

• Мы отклоняем нулевую гипотезу
• Конверсия действительно выросла
• Но есть 3% вероятность Type I ошибки (ложноположительный результат)
• Если мы примем это решение, в 3% случаев мы ошибемся

Как снизить ошибки

Для Type I: увеличить порог p-value (более строгие критерии) Для Type II: увеличить размер выборки или время теста

Это трейдофф — нельзя снизить обе одновременно.