Какие метрики смотрел в последнем A/B тесте?

A/B Тестирование: Системный Подход к Метрикам

В A/B тестировании критически важно отслеживать комплексный набор метрик, чтобы понимать не только первичный эффект, но и побочные воздействия на продукт. Расскажу о своём систематическом подходе.

Первичные Метрики (Primary Metrics)

Это метрики, ради которых мы запустили тест. Например:

• Conversion Rate — процент пользователей, совершивших целевое действие
• Average Order Value (AOV) — средний размер заказа
• Click-Through Rate (CTR) — процент кликов на элемент
• User Engagement — время в приложении, количество действий

Для каждой первичной метрики устанавливаем гипотезу с ясным направлением эффекта и минимальным детектируемым различием (MDE) — например, «ожидаем +5% в conversion rate с уровнем значимости 95%».

Вторичные Метрики (Secondary Metrics)

Это метрики, отслеживаемые во избежание проблем:

• Retention — возвращаемость пользователей день 1, день 7, день 30
• Churn Rate — процент отушедших пользователей
• LTV (Lifetime Value) — стоимость жизненного цикла пользователя
• Support Tickets / Complaints — количество обращений в поддержку

Эти метрики помогают выявить, не навредил ли нам кажущийся положительный результат.

Микро- и Макро-метрики

Микро-метрики (micro-conversions):

• Клики на кнопку
• Прохождение определённого шага воронки
• Время загрузки страницы
• Bounce Rate

Макро-метрики:

• Финальный revenue
• Долгосрочная ценность клиента
• Referral rate
• Net Promoter Score (NPS)

Пример Из Реального Теста

Предположим, тестировали новый дизайн checkout:

Первичная метрика: Conversion Rate (заказ успешно оплачен)
Вторичные метрики:

• Cart Abandonment Rate (полу-заказы)
• Average Session Duration
• Return Rate (повторные покупки)
• Support Request Increase

SELECT 
  test_variant,
  COUNT(DISTINCT user_id) as users,
  COUNT(DISTINCT CASE WHEN completed_order = 1 THEN user_id END) as conversions,
  COUNT(DISTINCT CASE WHEN completed_order = 1 THEN user_id END) * 100.0 / COUNT(DISTINCT user_id) as conversion_rate,
  AVG(order_value) as avg_order_value,
  AVG(session_duration) as avg_session_duration
FROM test_events
WHERE test_name = 'checkout_redesign'
GROUP BY test_variant;

Статистическая Значимость

Обязательно проверяю статистическую значимость (p-value < 0.05 для уровня 95%) и практическую значимость — результат может быть статистически значимым, но улучшить лишь на 0.1%, что экономически неоправданно.

Итоговый Чеклист Метрик

• ✅ Первичная метрика с jasny гипотезой
• ✅ Минимум 2-3 вторичные метрики для проверки побочных эффектов
• ✅ Метрики по пользовательскому пути (funnel)
• ✅ Финансовые показатели (revenue, AOV)
• ✅ Метрики удержания (retention, churn)
• ✅ Метрики UX (time on page, bounce rate)
• ✅ Длительность теста достаточна для сезонности и週末 effects

Такой системный подход к метрикам позволяет принимать взвешенные решения и не отставать в развитии продукта.