Кто проводил AB тесты в команде?

Организация A/B тестирования в команде

Роли и ответственность

Data Scientist / Analytics Engineer В большинстве компаний именно DS/Analyst несёт основную ответственность за дизайн и анализ A/B тестов. Мы разрабатываем гипотезы, рассчитываем нужный размер выборки, определяем критерии статистической значимости.

Product Manager PM выдвигает идеи для тестирования и связывает бизнес-целями с экспериментами. PM может инициировать тест, но численный анализ обычно делает DS.

Engineer / Full-stack Developer Разработчики имплементируют технические изменения, которые нужно тестировать. Они также отвечают за инструментарий для распределения пользователей в группы (split logic, feature flags).

Statistician / Data Scientist Если в команде есть специалист по статистике, он проверяет корректность методологии, рассчитывает статистическую мощность, помогает избежать ошибок типа I и II.

Типичный процесс A/B теста

1. Гипотеза и планирование DS вместе с PM обсуждает идею:

• "Изменение цвета кнопки на CTA сделает конверсию выше на 5%"
• Вычисляем нужный размер выборки через power analysis
• Определяем минимальный практически значимый эффект (MDE)

2. Разработка и развёртывание Engineers реализуют изменение и механизм A/B распределения:

# Пример распределения пользователей
def assign_variant(user_id: int) -> str:
    # Хеш-based: детерминированный, 50/50 split
    hash_value = hash(user_id) % 100
    return "variant_a" if hash_value < 50 else "variant_b"

3. Сбор данных Event tracking система логирует действия пользователей (impressions, clicks, conversions). DS убеждается, что данные собираются корректно.

4. Анализ результатов DS проводит статистический анализ:

# Пример анализа конверсионного теста
from scipy import stats

conversions_a = 150
total_a = 10000
conversions_b = 175
total_b = 10000

rate_a = conversions_a / total_a
rate_b = conversions_b / total_b

# Chi-square test
from statsmodels.stats.contingency_tables import mcnemar
contingency_table = [[conversions_a, total_a - conversions_a],
                     [conversions_b, total_b - conversions_b]]

chi2, p_value, dof, expected = stats.chi2_contingency(
    [[conversions_a, total_a - conversions_a],
     [conversions_b, total_b - conversions_b]]
)

print(f"P-value: {p_value:.4f}")
print(f"Statistically significant: {p_value < 0.05}")

Распределение обязанностей в типичной команде

Startup / small team (3-5 человек)

• Один Data Scientist делает всё: дизайн, имплементацию с engineers, анализ
• PM следит за результатами

Medium team (10-20 человек)

• DS: дизайн и анализ
• Analytics Engineer: инструментарий и данные
• Engineers: имплементация
• PM: гипотезы и стратегия

Large team (50+ человек)

• Head of Analytics: стратегия и праймори экспериментов
• Analytics/Stats: дизайн экспериментов, sample size расчеты
• Analytics Engineers: Data Pipeline для событий
• ML Engineers: анализ данных высокого уровня
• Product Analytics: интеграция с Product

Инструменты для проведения A/B тестов

Платформы A/B тестирования

• Optimizely — полнофункциональная платформа для экспериментов
• Google Optimize — встроена в Google Analytics
• VWO (Visual Website Optimizer) — for conversion rate optimization
• LaunchDarkly — feature flags и экспериментирование

Analytics системы

• Amplitude — product analytics с встроенным A/B анализом
• Mixpanel — событийная аналитика
• Segment — централизованный сбор и рутинг событий

Типичные метрики для A/B тестов

# Ключевые метрики для разных типов тестов

# Конверсионный тест
conversion_rate = conversions / total_users

# Метрика вовлечённости
engagement = active_users / total_users

# Метрика удержания
retention_d7 = users_active_day7 / initial_users

# Среднее значение (ARPU, время сессии)
average_value = total_value / total_users

Распространённые ошибки при A/B тестировании

• Peeking bias — проверка результатов до конца теста
• Multiple testing problem — много тестов → выше вероятность false positive
• Underpowered test — недостаточно пользователей, низкая статистическая мощность
• Not accounting for novelty effect — пользователи реагируют новизне, а не на суть изменений