Будешь ли тестировать свою теорию в A/B тесте

Будешь ли тестировать свою теорию в A/B тесте?

Абсолютно да - это ядро работы Product Analyst'а

Любая аналитическая гипотеза, которую я выдвину, должна быть проверена через контролируемый эксперимент. Это главный инструмент для превращения предположений в данные.

Почему A/B тестирование обязательно

Причина 1: Корреляция != Причинность

Мы можем заметить, что пользователи с более длинными сеансами совершают больше покупок. Но это не означает, что нужно заставлять пользователей находиться в приложении дольше. Может быть, дело в том, что заинтересованные пользователи естественно проводят больше времени. A/B тест ответит на вопрос: если мы изменим X, изменится ли Y?

Причина 2: Конфаундеры и скрытые переменные

Время года, день недели, маркетинговые кампании, изменения конкурентов - всё это может повлиять на результаты. В A/B тесте контрольная группа получает те же конфаундеры, что и тестовая, поэтому мы изолируем эффект именно нашего изменения.

Причина 3: Размер эффекта может быть меньше, чем кажется

Многие интуитивные идеи либо не работают, либо дают эффект в 0.5-2%, что видно только на достаточном объеме данных.

Как я тестирую свои гипотезы

Фаза 1: Формулировка гипотезы

Когда я вижу паттерн в данных или возникает идея, я формулирую её в виде:

"Если я сделаю [изменение], то [целевая метрика] увеличится на X% благодаря [механизму влияния]"

Пример: "Если я переместу CTA кнопку 'Купить' выше на экран, то conversion rate вырастет на 5% из-за улучшения видимости и уменьшения прокрутки."

Критично указать МЕХАНИЗМ - это позволяет позже разобраться, почему результат вышел не таким, как ожидалось.

Фаза 2: Определение метрик

Я выбираю:

Первичная метрика - главная KPI (conversion rate, retention, revenue per user)

Вторичные метрики - побочные эффекты (session duration, bounce rate). Важно, чтобы изменение не сломало другие метрики.

Защитные метрики - то, что не должно снизиться (например, user satisfaction, load time)

Пример:

• Primary: Conversion rate
• Secondary: Average order value
• Guard: Customer satisfaction score

Фаза 3: Расчет размера выборки

Вычисляю необходимое количество пользователей с помощью формулы:

n = (Z_α + Z_β)² × (p₁(1-p₁) + p₂(1-p₂)) / (p₁ - p₂)²

Где:

• α (альфа) = 0.05 (вероятность ошибки первого рода - false positive)
• β (бета) = 0.20 (вероятность ошибки второго рода - false negative, мощность 80%)
• p₁ = текущий уровень метрики
• p₂ = ожидаемый уровень после изменения
• (p₁ - p₂) = ожидаемый эффект

Если current conversion = 5%, ожидаемый = 5.5%, то нужно примерно 150,000 пользователей в каждой группе.

Фаза 4: Дизайн эксперимента

Вариант А: Control - текущая версия Вариант B: Treatment - новая версия

Критичные моменты:

• 50/50 split или другое соотношение?
• Как распределяю пользователей? (по cookie, user_id, по времени?)
• Какая минимальная длительность теста? (обычно минимум 1-2 недели для нивелирования недельных паттернов)

Фаза 5: Запуск и мониторинг

Во время теста мониторю:

• Качество трафика (не подделан ли он?)
• Ранний результат (является ли он направлением, куда мы идем?)
• Побочные эффекты (не упала ли страница, нет ли ошибок?)

Важно: Не смотрю на результаты каждый день и не прекращаю тест рано, даже если видно значительный результат. Это peeking problem - это смещает результаты.

Фаза 6: Анализ результатов

После того как тест достигнет нужного размера выборки, провожу анализ:

Confidence Level: 95%
P-value: 0.032 (< 0.05) → Статистически значимо
Effect Size: +3.2% (95% CI: [0.5%, 5.9%])

Вывод: Вариант B превосходит Control на 3.2% с 95% уверенностью

Фаза 7: Интерпретация

Оцениваю:

• Статистическая значимость: p-value < 0.05?
• Практическая значимость: Эффект достаточно большой, чтобы стоить затрат на реализацию?
• Согласованность: Движутся ли все вторичные метрики в правильном направлении?
• Причинность: Подтверждает ли результат мой механизм влияния?

Пример сложного случая

Ожидал увеличить конверсию на 5% более красивым дизайном кнопки. Результат: Конверсия выросла на 2.1%, но среднее время на странице упало с 2 минут до 1.5 минут.

Вывод: Кнопка действительно привлекает внимание (люди ускоряют решение), но это не тот эффект, который я ожидал. Нужно разбираться дальше.

Когда я НЕ запускаю A/B тест

1. Когда эффект очевиден и не требует проверки (например, если сайт упал, очевидно, что нужно его чинить)
2. Когда нет трафика (нельзя набрать достаточный размер выборки)
3. Когда этически неправильно (не буду тестировать разные цены на основе пола/возраста без регуляторных причин)
4. Когда уже есть успешный A/B тест с тем же вопросом из надежного источника

Заключение

A/B тестирование - это не факультативный инструмент, это обязательная часть моего toolkit'а как аналитика. Без него я просто строю замки из песка на основе интуиции. С A/B тестами я принимаю решения на основе данных.