Какие будут сроки A/B теста для сегмента покупающий товар каждую неделю?

Сроки A/B теста для сегмента еженедельных покупателей

Это практический вопрос, и ответ зависит от нескольких ключевых факторов. Дам методологию расчёта и практические рекомендации.

Определение параметров

Сегмент: еженедельные покупатели — пользователи, которые совершают покупку раз в неделю. Это отличная группа для тестирования, потому что:

• Высокая частота действий = можно быстро собрать статистику
• Стабильный паттерн поведения = меньше шума
• Высокая ценность для бизнеса = результаты значимы

Расчёт минимального размера выборки

Данные, которые нужны:

1. Сколько еженедельных покупателей в базе? (общая популяция)
2. Какова текущая конверсия в конкретной воронке, где тестируем?
3. Какой минимальный эффект считаем значимым? (обычно 5–10%)
4. Уровень значимости: 95% (α = 0.05)
5. Мощность теста: 80% (β = 0.2)

Пример расчёта:

Предположим:

• Текущая конверсия в сегменте: 5% (пользователи, которые совершают действие, например, нажимают на рекомендацию)
• Хотим поймать эффект +10% (абсолютно: 5% → 5.5%, или относительно: 5% → 5.5%)
• 50/50 split (контроль vs вариант)

Для 95% статистической значимости и 80% мощности нужно: ~3,200 пользователей на каждый вариант = 6,400 пользователей всего

Для еженедельных покупателей:

• 6,400 пользователей ÷ 50 еженедельных покупателей в день = 128 дней
• Или ~18 недель

Это очень долго! Значит, нужна оптимизация.

Оптимизация: что влияет на длительность теста

1. Целевая метрика (что считаем конверсией?):

• Если ловим быстрое действие (клик, просмотр) — тест короче (3–7 дней)
• Если ловим покупку — тест длиннее (2–4 недели для еженедельных, потому что нужно 2–3 покупки на пользователя)
• Если ловим долгосрочное удержание (30 дней) — тест минимум 30 дней + анализ

2. Размер эффекта:

• Если ждём большого эффекта (+20–30%) — тест короче
• Если тестируем улучшение на +5% — тест длиннее

3. Размер сегмента:

• Еженедельные покупатели — высокочастотный сегмент, это плюс
• Если это 100 человек в день — результат через 2–3 месяца
• Если это 500 человек в день — результат через 2–3 недели

Рекомендуемые сроки

Оптимистичный сценарий (быстрое действие, большой эффект):

• 7–14 дней — тестируем клик, просмотр, quick conversion
• Пример: изменили дизайн кнопки покупки

Средний сценарий (покупка, умеренный эффект):

• 14–28 дней — тестируем саму покупку
• Пример: изменили рекомендацию товара, ценообразование
• Используем 2–3 полных цикла покупки для еженедельных пользователей

Консервативный сценарий (долгосроч метрики, малый эффект):

• 28–45 дней — тестируем удержание, LTV, повторные покупки
• Пример: изменили onboarding, loyaltyprogram
• Нужно дождаться, пока еженедельные пользователи сделают несколько циклов

Долгосрочный сценарий:

• 60–90 дней — если ловим повышение LTV или снижение churn
• Нужно 8–12 недель для еженедельных пользователей, чтобы проявился паттерн

Практический подход: ускорение без потери качества

Вариант 1 — Выше статистическая мощность:

• Если можем себе позволить 80% вероятность пропустить эффект (вместо 80% мощности), можем сократить
• Но это рискованно

Вариант 2 — Больший размер вариацией:

• Если эффект будет +20% (а не +10%), тест пройдёт вдвое быстрее
• Часто первые тесты показывают большие эффекты, поэтому стоит начать с 2–3 недель

Вариант 3 — Sequential testing (SPRT):

• Проверяем результаты каждый день и останавливаемся рано, если результат уже чёткий
• Сокращает тест на 20–30% в среднем
• Используем в Amplitude, VWO, или собственный скрипт

Вариант 4 — Сегментирование по подходу:

• Если тестируем для еженедельных пользователей, но есть разные подгруппы (например, мобиль vs веб, новички vs ветераны), тестируем по отдельности
• Это может дать insights быстрее

Мой рекомендуемый сценарий

Для типичного теста с еженедельными покупателями я бы рекомендовал:

Стандартный тест: 14–21 день

• Первая неделя: даём данным собраться, проверяем стабильность
• Вторая неделя: каждый пользователь сделал 1–2 покупки, статистика растёт
• 21-й день: результат уже ясен в 90% случаев

Правила остановки:

1. Если p-value < 0.01 (очень значим) — можем останавливаться на день 7–10
2. Если p-value 0.01–0.05 (значим) — идём полные 14–21 дней
3. Если p-value > 0.05 (не значим) — расширяем до 28 дней или отклоняем

Чек-лист перед запуском теста

• Определил целевую метрику (конверсия в какой воронке?)
• Знаю текущий baseline для сегмента
• Определил минимальный значимый эффект (MDE)
• Рассчитал размер выборки
• Знаю, сколько еженедельных пользователей приходит в день
• Определил сроки теста (обычно 2–3 недели)
• Установил правила остановки теста
• Убедился, что других маркетинг-кампаний не будет в период теста
• Подготовил отчёт для анализа (выскочат сегменты, демография, etc.)

Итог: Для еженедельных покупателей обычно хватает 2–3 недель, если ловим саму покупку. Если ловим клики или быстрые действия — неделя. Если ловим долгосроч метрики — 1–2 месяца.