Нужно ли делить аудиторию 50/50 при проведении A/B теста?

Разделение аудитории в A/B тестах: 50/50 или другая пропорция?

Ответ зависит от контекста и целей эксперимента. Хотя 50/50 — самый распространённый подход, существуют ситуации, когда другие пропорции более эффективны.

Когда использовать 50/50

Классический подход — разделение поровну имеет несколько преимуществ:

• Максимальная статистическая мощность — при фиксированном объёме выборки именно 50/50 даёт минимальный размер выборки для достижения статистической значимости
• Симметричность — условия для обеих групп максимально сбалансированы
• Простота интерпретации — нет вопросов о справедливости распределения
• Предсказуемость — легче планировать размер тестируемой аудитории

Используй 50/50, когда:

• Низкий риск новой версии — уверен, что изменение не ухудшит опыт
• Высокая волатильность метрик — нужна большая мощность для обнаружения эффекта
• Краткосрочный тест — нет времени на длительный сбор данных

Когда использовать другие пропорции

Асимметричное разделение (например, 90/10, 80/20, 70/30) применяется в конкретных сценариях:

1. Высокий риск изменения Если новая версия может серьёзно навредить (потеря доходов, пользовательского опыта), начни с маленькой группы:

• 90/10 — только 10% в новую версию
• 95/5 — ещё более консервативно
• Это позволяет быстро выявить критичные проблемы на малой аудитории

2. Дорогостоящие эксперименты Некоторые изменения требуют вычислительных ресурсов или вызывают проблемы с инфраструктурой:

• Используй 80/20 или 70/30
• Легче масштабировать инфраструктуру
• Снижаешь операционные затраты

3. Редкие события Если отслеживаешь события с низкой частотой (покупки, deep conversions):

• 70/30 или 60/40 — получиш больше данных от контрольной группы
• Лучше для анализа редких побочных эффектов
• Можно раньше остановить тест при обнаружении проблем

4. Многовариантные тесты (MVT) Когда тестируешь 3+ варианта одновременно:

• Раздели 100% между вариантами пропорционально их важности
• Контрольная группа может быть меньше (30-40%)
• Остальное распредели между экспериментальными вариантами

5. Постепенное развёртывание (Gradual Rollout) Для уменьшения риска:

• День 1: 5% пользователей
• День 2-3: 25%
• День 4-7: 50%
• Неделя 2: 100%

Это не полноценный A/B тест, но очень эффективная стратегия валидации.

Математический анализ

Требуемый размер выборки зависит от пропорции:

# Для достижения одного уровня статистической значимости
# пропорция 50/50 требует минимальный размер выборки

# Примерный расчёт для α=0.05, β=0.20, effect_size=0.15
from scipy.stats import norm

z_alpha = norm.ppf(0.975)  # 1.96
z_beta = norm.ppf(0.80)    # 0.84
effect_size = 0.15

# Для 50/50
ratio_50_50 = 1
n_50_50 = (z_alpha + z_beta)**2 * (1/ratio_50_50 + 1) / (effect_size**2)

# Для 80/20 (требует больше участников)
ratio_80_20 = 4  # 4:1
n_80_20 = (z_alpha + z_beta)**2 * (1/ratio_80_20 + 1) / (effect_size**2)

При 80/20 нужно в 1.25x больше участников, чем при 50/50, для той же значимости.

Практические рекомендации

1. По умолчанию используй 50/50 — это стандарт с максимальной мощностью
2. Выбирай асимметрию осознанно — у каждого решения есть компромиссы
3. Документируй обоснование — почему выбрал именно эту пропорцию
4. Учитывай специфику — особенности платформы, типа изменения, бизнес-рисков
5. Комбинируй подходы — начни с 90/10, потом перейди на 50/50, если нет проблем

Вывод: 50/50 — оптимальная пропорция в большинстве случаев, но реальные ситуации часто требуют большей гибкости. Ключ — осознанный выбор на основе контекста эксперимента, а не слепое следование стандарту.