Как сформулируешь цель эксперимента облегченной онлайн-доски?

Как сформулировать цель эксперимента облегченной онлайн-доски

Экспериментирование — это не просто "давайте попробуем" и посмотрим что случится. Это научный метод, где каждый тест имеет чёткую гипотезу, метрики успеха и план интерпретации результатов. Я покажу как я сформулировал бы цель такого эксперимента.

1. Контекст и гипотеза

Прежде всего, почему мы думаем, что "облегченная доска" поможет?

Гипотеза: текущая онлайн-доска (полнофункциональная, со всеми фичами) имеет слишком крутую кривую обучения. Пользователи теряются, потому что видят 50 кнопок и не знают с чего начать. Облегченная версия (только базовые функции) будет понятнее новичкам.

Предпосылки:

• Данные показывают: 45% новых пользователей в первый день делают < 3 действий
• Опросы: 60% говорят "слишком много функций, я не знаю где начать"
• Конкуренты: Figma, Miro имеют "onboarding mode" с ограниченными инструментами

2. Правильная формулировка цели

Плохо: "Посмотреть понравится ли пользователям облегченная доска"

• Это не метрика, это мнение
• Как мы узнаем, что "понравилось"?
• Слишком расплывчато

Хорошо (мой подход):

Цель эксперимента: Определить, улучшает ли облегченная версия онлайн-доски (с 8 основными инструментами вместо 30) две ключевые метрики новых пользователей: time-to-first-action и retention on day 2.

Гипотеза: Облегченный интерфейс снизит когнитивную нагрузку, что приведёт к:

• Снижению времени до первого действия с 3.5 минут до 1.5 минут (-60%)
• Повышению retention на день 2 с 35% до 45% (+10 п.п.)

3. Метрики эксперимента

Им очень важны primary (главные) и secondary (дополнительные) метрики.

Primary метрики (по которым судим успех):

1. Time-to-first-action (TFA)

   • Определение: время от открытия доски до первого действия (нарисовать, добавить текст, и т.д.)
   • Target: снизить с 3.5 мин до 1.5 мин
   • Почему это важно: быстрое действие = понимание интерфейса = вероятность остаться
   • Как измеряем: логируем timestamp открытия и первого клика/рисунка

2. Retention Day 2 (День 1 → День 2)

   • Определение: % пользователей, которые вернулись на день 2
   • Target: повысить с 35% до 45%
   • Почему это важно: если юзер вернулся на день 2, значит ему нравится
   • Как измеряем: DAU день 2 / DAU день 1

Secondary метрики (контекст, но не главное):

1. Активность сессии

   • Actions per session (среднее кол-во действий за сессию)
   • Expected: +15% (люди не боятся экспериментировать)

2. Feature discovery

   • % пользователей, которые нашли скрытые расширенные инструменты
   • Expected: 20-30% (достаточно curiosity для исследования)

3. NPS / удовлетворённость

   • Post-session survey: "Было ли легко начать работу?"
   • Expected: +10 пунктов на шкале 1-10

4. Negative metrics (следим чтобы не сломать):

   • Power users не жалуются на отсутствие фич
   • Error rate не растёт
   • Performance не деградирует

4. Дизайн эксперимента

A/B тест, 50/50 split:

Кто в эксперимент:

• Новые пользователи, которые регистрируются после запуска теста
• НЕ существующие пользователи (они уже привыкли к full-featured версии)
• Рандомизация: по user_id (deterministic, стабильно)

Облегченный интерфейс (Treatment):

• Видимые инструменты: rectangle, circle, text, line, eraser, color, delete, share
• Скрытые в меню: advanced tools (bezier, polygon, shadow, animation и т.д.)
• Onboarding: 30-секундное видео "вот как начать рисовать"

5. Детали измерения

Что логируем:

{
  "event": "user_opened_board",
  "user_id": "xyz",
  "variant": "control" | "treatment",
  "timestamp": "2024-01-15T10:30:00Z"
}

{
  "event": "first_action",
  "user_id": "xyz",
  "action_type": "draw" | "text" | "shape",
  "time_to_action_ms": 2150,
  "timestamp": "2024-01-15T10:32:10Z"
}

{
  "event": "user_retention_check",
  "user_id": "xyz",
  "days_since_signup": 2,
  "returned": true | false,
  "timestamp": "2024-01-17T10:30:00Z"
}

Анализ данных:

• Group by variant (control vs treatment)
• Calculate mean, median, std dev для TFA
• T-test для статистической значимости
• Retention curve (день 1, 2, 3, 7, 30)

6. Успех, неудача, граница

Эксперимент УСПЕШЕН, если:

• TFA улучшается на ≥ 40% (в лучшем случае на 60%)
• AND retention day 2 улучшается на ≥ 5 п.п.
• AND оба улучшения статистически значимы (p < 0.05)

Эксперимент ПРОВАЛИЛСЯ, если:

• TFA улучшается < 20%
• OR retention day 2 не улучшается (на -5 п.п.)
• OR power users начинают жаловаться что нет нужных фич

ГРАНИЦА (неопределённость):

• TFA улучшается на 20-40%
• Retention улучшается на 3-5 п.п.
• Результаты статистически незначимы → Тогда нужно либо расширить тест, либо итерировать дизайн

7. Примеры результатов и интерпретация

Сценарий 1: Успех

Control (A):        Treatment (B):
TFA: 3.5 мин       TFA: 1.3 мин (-63%) ✅
RET day2: 35%      RET day2: 47% (+12 п.п.) ✅
p-value: 0.001 (highly significant) ✅

Вывод: Запускаем облегченный режим по умолчанию для всех новых юзеров. Потом план: пускаемся добавлять back некоторые инструменты, когда юзер готов.

Сценарий 2: Проблема

Control (A):        Treatment (B):
TFA: 3.5 мин       TFA: 3.2 мин (-9%) ❌
RET day2: 35%      RET day2: 36% (+1 п.п.) ❌
p-value: 0.42 (not significant) ❌

Вывод: Облегченность не помогает. Проблема не в количестве инструментов, а в чём-то ещё (может быть, нужно лучше объяснить какие инструменты делают). Идём назад в discovery: интервью, analytics.

Сценарий 3: Интересный побочный эффект

Control (A):        Treatment (B):
TFA: 3.5 мин       TFA: 1.5 мин (-57%) ✅
RET day2: 35%      RET day2: 36% (+1 п.п.) ❌ (не обещанный эффект)
BUT: Actions/session = 12 vs 8 (люди больше экспериментируют)

Вывод: Интерфейс работает, но по другой причине. Вместо "быстро уходят", люди "больше экспериментируют". Это может быть даже лучше для долгосрочного engagement. Проверяем retention day 7, day 30.

8. Длительность и статистическая мощность

Почему 2 недели?

• День 1: юзеры экспериментируют, может быть honeymoon effect в обе стороны
• День 2-7: реальная retention, видна ли сущность разницы
• День 8-14: подтверждаем, что тренд сохраняется
• 14+ дней: слишком долго, можем потерять opportunity cost

Размер выборки:

• Expected effect size: средний (Cohen's d = 0.3)
• Significance level: 0.05
• Power: 80% (20% risk Type II error)
• Sample size калькулятор → нужно минимум 1000 в каждой группе
• Наш трафик: 500 новых юзеров/день → 2 недели = 7000 новых → 3500 в каждую группу ✅

9. Риски и mitigation

Risk: Seasonal bias (люди работают по-разному в разные дни недели) Mitigation: Запускаем тест во вторник, чтобы захватить полный цикл (вторник-понедельник)

Risk: Power users в treatment группе злятся что нет фич Mitigation: Даём им опцию "switch to full interface" (но логируем это как сигнал)

Risk: External events (конкурент запустил новое, media buzz) Mitigation: Логируем все события, потом анализируем correlation

Risk: Insufficient sample size Mitigation: Если 2 недели не дали significance, расширяем на ещё неделю (максимум 21 день)

10. После теста: что делать?

Если SUCCESS (запускаем облегченный режим):

• Week 1: Все новые юзеры получают облегченный интерфейс
• Week 2: Добавляем tutorial: "Научитесь основам"
• Week 3: Добавляем кнопку "Unlock advanced tools" после 5 действий
• Week 4+: Аналитика по adoption advanced tools

Если FAILURE (лучше других идей):

• Проводим post-mortem: почему гипотеза не сработала?
• Новая гипотеза: может быть, нужна лучше tutorial? Или другие инструменты по умолчанию?
• Запускаем следующий тест на основе insights

Итоговая формулировка цели

Цель эксперимента облегченной онлайн-доски:

Проверить гипотезу, что упрощение интерфейса (сокращение видимых инструментов с 30 до 8) улучшит onboarding новых пользователей за счет снижения когнитивной нагрузки.

Primary success metrics:

1. Сократить Time-to-first-action на 40%+ (target: 1.5 мин)
2. Повысить Retention Day 2 на 5+ п.п. (target: 40%)

Дизайн: A/B тест, 50/50 split, 2 недели, N=1000+ юзеров в каждой группе

Результат: Если оба metrics улучшаются статистически значимо (p<0.05), запускаем облегченный режим. Если нет, исследуем почему и итерируем гипотезу.