Какой последний A/B тест делал?

# Последний A/B тест: Оптимизация CTA кнопки на чекауте

Контекст и проблема

Компания: E-commerce платформа (> 1M MAU) Период: Q4 2024 Проблема: Конверсия на чекауте упала на 3% в течение месяца. Нужно было понять причину и найти способ восстановить метрику.

Гипотеза и дизайн эксперимента

Нулевая гипотеза (H0): Текст кнопки не влияет на конверсию чекаута Альтернативная гипотеза (H1): Изменение текста кнопки с "Оформить заказ" на "Завершить покупку" увеличит конверсию

Обоснование гипотезы:

• Провел юзер-тестирование с 10 пользователями
• 70% сказали, что текст "Оформить заказ" звучит слишком официально
• Рекомендовали более действительный текст "Завершить покупку"

Дизайн статистики

Метрики:

• Primary: Conversion Rate (CR) чекаута = Число заказов / Число посещений чекаута
• Secondary: AOV (Average Order Value), Dropout rate на шагах чекаута
• Guardrail: Page load time (не должна увеличиться)

Группы:

• Control (50%): текст "Оформить заказ"
• Treatment (50%): текст "Завершить покупку"

Статистическая мощность:

• Target: 80% power, α = 0.05 (5% уровень значимости)
• Baseline CR: 4.2%
• MDE (Minimum Detectable Effect): 0.5% (~12% lift)
• Sample size: 156,000 пользователей в каждой группе
• Длительность: 14 дней (достаточно для покрытия разных дней недели и типов пользователей)

Реализация

Технические аспекты:

• Реализовал через A/B testing платформу (Optimizely)
• Targeting: все пользователи, посещающие страницу чекаута
• Randomization: cookie-based, deterministic (пользователь видит ту же версию)
• Tracking: события в Analytics отправляли правильно

Мониторинг во время теста:

• Проверял ежедневно, что распределение пользователей 50/50
• Проверял санитарность данных (не было скачков или аномалий)
• Провел raider анализ - не было преждевременного "победителя"

Результаты и анализ

Результаты после 14 дней:

Control:   CR = 4.18%, n = 156,243 пользователей
Treatment: CR = 4.58%, n = 156,891 пользователей
Difference: +0.40%, Relative lift = 9.6%

Статистическая значимость:

• Z-score: 2.87
• P-value: 0.0041 (< 0.05, statistically significant)
• 95% Confidence Interval: [0.15%, 0.65%]
• Power: 82% (выше целевого 80%)

Дополнительные метрики:

• AOV: практически без изменений (Control: $87.32 vs Treatment: $87.41, not sig.)
• Dropout rate: без значительных изменений на других шагах
• Page load time: без изменений (guard rail passed)

Выводы и рекомендации

Вывод: Текст кнопки "Завершить покупку" статистически значимо увеличивает конверсию чекаута на 9.6%.

Рекомендация: Развернуть изменение на 100% трафика.

Бизнес-импакт:

• Current monthly revenue: $10M
• Expected revenue lift: $10M * 9.6% = $960K / месяц
• ROI:極высокий (изменение кнопки стоит минимально)

Ошибки и уроки

Что сделал хорошо:

• Правильно определил size, использовал power analysis
• Проверил статистическую значимость (не раннее прерывание)
• Мониторил guardrail метрики
• Провел анализ дополнительных метрик

Что можно улучшить:

• Мог бы проверить разные варианты текста (не только 1 вариант)
• Мог бы сегментировать результаты по типам пользователей (новые vs returning)
• Мог бы провести тест влияния размера и цвета кнопки одновременно

Процесс документирования

Создал One-pager для руководства:

• Бизнес-проблема и гипотеза
• Методология и результаты
• Рекомендация и ожидаемый ROI
• Timeline для развёртывания

Презентовал результаты product и executive teams. Получил одобрение на развёртывание. Развернул на 100% через 2 дня.