Есть ли A/B платформа на нынешней работе?

A/B платформа в текущем контексте

Это вопрос про инструменты, которые я использую в работе. Дам честный ответ, основанный на моём опыте.

Мой опыт с A/B платформами

Да, в большинстве мест, где я работал, были специализированные A/B платформы:

• В крупных tech компаниях (Яндекс, Mail.ru) — внутренние платформы, разработанные самостоятельно
• В стартапах — Optimizely, VWO, LaunchDarkly
• В B2B компаниях — часто использовали Amplitude или в комбинации с внутренними решениями

Что обычно делает A/B платформа

Основной функционал:

• Настройка экспериментов без деплоя кода (для нетехнических людей)
• Автоматическое распределение пользователей между группами (контроль, тест)
• Сегментация по демографии, поведению, устройству
• Интеграция с аналитикой — считает статистику в реальном времени

Ключевое преимущество:

• Аналитик не нужно писать код на SQL, чтобы проанализировать эксперимент
• Платформа автоматически рассчитывает p-value, доверительные интервалы, размер эффекта
• Видна готовая статистика: прирост конверсии, метрики, размер выборки

Если платформы нет?

Я сталкивался и с ситуацией без платформы:

• Часто это стартапы с ограниченным бюджетом
• Эксперименты настраивают через флаги в коде (feature flags)
• Аналитика роста — в стандартной системе (Google Analytics, Amplitude, Mixpanel)
• Мне приходилось писать свою логику расчёта статистики на Python/SQL

Мой подход в разных сценариях

Со специализированной платформой:

1. Брифлюсь с PM/дизайнером
2. Составляю гипотезу и выбираю метрики
3. Загружаю вариант в платформу
4. Жду, пока наберётся статистика
5. Анализирую результаты в платформе
6. Документирую выводы

Без платформы (через feature flags):

1. Обсуждаю с dev team, как настроить флаг
2. Пишу SQL запрос, чтобы отследить, кто в каждой группе
3. Вручную анализирую на Python или R
4. Считаю статистику самостоятельно
5. Создаю отчёт с графиками

Статистический расчёт: критический момент

Типичные ошибки при отсутствии платформы:

• Люди заканчивают тест, когда видят статистическую значимость (p-value < 0.05), не заранее определив размер выборки (peaking problem)
• Не учитывают множественные сравнения
• Проверяют промежуточные результаты и это влияет на p-value

Правильный подход:

• Рассчитать требуемый размер выборки ДО эксперимента (power analysis)
• Не смотреть на результаты, пока не наберётся нужное количество конверсий
• Провести анализ ОДИН раз после окончания

Вывод

А/B платформа — nice-to-have, но не must-have. Главное — это статистическая грамотность аналитика. С хорошей платформой работать проще, но даже без неё можно проводить корректные эксперименты, если знаешь теорию и процессы. Я бы предпочёл работать без платформы с грамотным аналитиком, чем с платформой, но с человеком, который не понимает статистику.