Как работаешь с гипотезами?

Методология работы с гипотезами в Product Management

Работа с гипотезами — это суть data-driven product management. Вместо того чтобы полагаться на интуицию, мы формулируем предположения, тестируем их и учимся на результатах.

Этап 1: Формулирование гипотезы

Используйте структурированный формат: "Если [делаем эту фичу], то [произойдет этот результат], потому что [причина]."

Примеры:

• "Если добавим Undo button, то retention повысится на 10%, потому что пользователи будут меньше бояться ошибок"
• "Если отправим push в 9 AM, то open rate будет выше 12%, потому что это время максимальной активности нашей аудитории"

Гипотеза должна быть:

• Конкретной — не "улучшим UX", а "reduce form fields from 5 to 3"
• Измеримой — всегда указывайте метрику и направление (выше/ниже на X%)
• Реалистичной — не обещайте 100x рост если это неправдоподобно
• Основанной на данных — почему вы думаете, что это сработает? Чем подкреплена гипотеза?

Этап 2: Приоритизация гипотез

Не все гипотезы одинаково важны. Используйте framework:

Impact × Confidence × Effort = Приоритет

• Impact (1-10) — если верна, сколько это поднимет ключевую метрику?
• Confidence (1-10) — насколько вы уверены, что гипотеза верна?
• Effort (1-10) — сколько time/resources потребуется на тест?

Фокусируйтесь на высокий impact + высокий confidence / низкий effort.

Избегайте:

• High effort + низкий confidence = waste ресурсов
• Low impact = навряд ли изменит бизнес даже если верна

Этап 3: Дизайн эксперимента

Определите метрики успеха:

• Primary metric — главная метрика (DAU, conversion, revenue)
• Secondary metrics — сопутствующие (retention, churn, engagement)
• Guard rails — метрики, которые НЕ должны упасть (performance, stability)

Установите success criteria: "Гипотеза считается верной, если primary metric поднимется на 10%+ с p-value <0.05"

Размер выборки: используйте online calculator или A/B test calc для определения требуемого N. Обычно 100-500 конверсий на variation достаточно.

Длительность: минимум 1-2 недели для сглаживания weekly seasonality.

Этап 4: Реализация теста

A/B тест — самый надежный способ проверки:

• Control group (50%): текущий вариант
• Test group (50%): новый вариант
• Случайное распределение пользователей

Qualitative research — параллельно с A/B тестом:

• User interviews (почему клик? почему не клик?)
• Usability testing (watching users interact)
• Feedback surveys

Observational data:

• Session recordings (Hotjar, Fullstory)
• Heatmaps
• Funnel analysis

Этап 5: Анализ результатов

Статистика:

• p-value <0.05 = результат статистически значимый
• Confidence interval не пересекается с нулем = valid result
• Посмотрите на magnitude: +5% vs +50% = разные выводы

Интерпретация:

1. Positive: Control vs Test difference в нужную сторону и significant → гипотеза верна, deploy
2. Negative: результат opposite → гипотеза неверна, отклоните
3. Neutral: нет разницы → гипотеза неверна или не достаточно powered test
4. Inconclusive: низкая significance но trend в нужную сторону → run дольше или с большей выборкой

Не делайте:

• "Peeking" — смотрение результатов и остановка теста раньше времени
• Multiple comparisons без correction (Bonferroni)
• Игнорирование guard rail метрик (если DAU вверх но churn тоже вверх, это плохо)

Этап 6: Документирование и обучение

Ведите гипотезный лог:

Извлекайте insights:

• Какие типы гипотез обычно верны?
• Какие сегменты по-разному реагируют?
• Какие метрики наиболее predictive для success?

Этап 7: Масштабирование успешных гипотез

Если результат positive:

1. Реplication test — убедитесь, что результат reproducible. Запустите на другом сегменте или в другой период.

2. Holdout group — даже после deploy 100%, некоторых пользователей оставьте в старом варианте. Это позволяет долго мониторить impact.

3. Интеграция — обновите baseline и метрики. "Новая норма = с фичей".

Best Practices

Скорость iterations: лучше 10 small experiments чем 1 big experiment. Малые тесты быстрее дают результаты.

Batch hypothesis testing: если запускаете несколько related гипотез, убедитесь что они независимые.

Sequential testing: не ждите полной выборки, используйте sequential analysis для early stopping.

Cross-functional alignment: прежде чем запустить тест, убедитесь что Engineering, Marketing, Leadership согласны с hypothesis и metrics.

Celebrate learnings не wins: даже неверная гипотеза — это win, потому что вы узнали что NOT делать. Culture должна поощрять experiments.