Как будешь проводить валидацию выбранной гипотезы?

Как проводить валидацию выбранной гипотезы

Валидация гипотез — это сердце всей моей работы как PM. Вот систематический процесс, который я использую, основанный на научном подходе.

Шаг 1: Формулировка гипотезы

Прежде чем валидировать, гипотеза должна быть четко сформулирована.

Плохая формулировка:

• "Пользователям нужна эта фича"
• "Это улучшит engagement"

Хорошая формулировка (SMART):

• "Пользователи, которые совершают 2+ транзакции в день, хотят быстрого способа повтора последней транзакции без заполнения формы"
• "Если добавить кнопку 'Repeat Last' на главный экран, время выполнения повторяющихся транзакций снизится на 50%, что увеличит DAU на 10%"

Компоненты правильной гипотезы:

• Проблема: Конкретная боль, которую испытывают пользователи
• Решение: Что мы предлагаем
• Ожидаемый результат: Что изменится
• Метрика: Как мы это измерим

Шаг 2: Планирование валидации

2.1 Определяю метод валидации

Для разных типов гипотез используются разные методы:

2.2 Определяю успешность критерии

ИМ ОЧЕНЬ ВАЖНО определить это ДО валидации, чтобы не подтасовывать результаты:

Гипотеза: Пользователи хотят быстрого способа повтора транзакции

Успех = да, если:
- Минимум 6 из 10 пользователей спонтанно упомянут эту проблему
  (не наводящие вопросы, они сами скажут)

В противном случае = гипотеза не подтверждена

НО НЕ:

• "Люди были заинтересованы" (слишком размыто)
• "8 из 10 ответили да" (может быть так, что они просто вежливые)

Шаг 3: Валидация через интервью (Qualitative)

Это первый и самый дешевый метод.

3.1 Рекрутирование участников

• Целевая аудитория: пользователи, которые совершают 2+ транзакции в день
• Канал: Email, in-app, UserTesting.com, Respondent
• Количество: 8-12 человек (не 100, это пустая трата времени на этом этапе)
• Incentive: $25-50 за час интервью

3.2 Структура интервью

Время: 30-45 минут

1. Разминка (5 мин)
   - Привет, спасибо что пришёл
   - Расскажи о себе и как ты используешь нашу платформу

2. Исследование проблемы (15 мин) - БЕЗ наводящих вопросов!
   - Когда ты последний раз совершал транзакцию?
   - Расскажи об этом процессе
   - Что было сложного?
   - Сколько времени это заняло?
   - Как часто ты повторяешь одни и те же платежи?
   
   ПЛОХО: "Правда ли, что заполнять форму долго?" (наводящий вопрос)
   ХОРОШО: "Что было сложного в последнем платеже?" (открытый вопрос)

3. Реакция на решение (10 мин)
   - Показываю прототип
   - "Что ты видишь?"
   - "Как ты думаешь, что это должно делать?"
   - "Попробуй использовать это"
   - "Помог бы это твоей проблеме?"

4. Закрытие (5 мин)
   - "Есть ли вопросы?"
   - "Можно я свяжусь с тобой позже?"

3.3 Анализ результатов

• Записываю все интервью (с согласия)
• Транскрибирую или делаю заметки
• Выделяю паттерны и quotes
• Смотрю: совпадает ли с гипотезой или нет?

Шаг 4: Валидация через опрос (Quantitative)

Когда я уверен что проблема реальна (интервью подтвердили), проверяю масштаб.

4.1 Дизайн опроса

Опрос для 200 пользователей

1. Используешь ли ты нашу платформу для повторяющихся платежей?
   [ ] Да, регулярно (2+ в неделю)
   [ ] Иногда (2+ в месяц)
   [ ] Редко

2. Сколько времени занимает выполнение одного платежа?
   [ ] Менее 1 минуты
   [ ] 1-2 минуты
   [ ] 2-5 минут
   [ ] Более 5 минут

3. Если бы была кнопка "Повторить последний платёж"
   (без заполнения формы), ты бы её использовал?
   [ ] Определенно да
   [ ] Скорее да
   [ ] Не уверен
   [ ] Скорее нет
   [ ] Определенно нет

4.2 Интерпретация

• 70%+ ответили "Определенно да" → гипотеза подтверждена
• 50-70% → может быть подтверждена, но не очень сильно
• <50% → гипотеза отклонена

Шаг 5: Валидация через Landing Page

Если я хочу проверить willingness to pay или demand, создаю landing page.

5.1 Структура

Заголовок: "Экономьте время на повторяющихся платежах"
Подзаголовок: "Одна кнопка вместо 3 минут заполнения формы"

Описание проблемы (с картинками):
- Показываю, как долго сейчас заполнять форму

Решение:
- Показываю "Repeat Last" кнопку
- Объясняю как работает

Call-to-Action:
- "Хочу попробовать" (lead capture)

Тестирование через Ads:
- Google Ads, Facebook Ads
- Budget: $500-1000
- Смотрю: Что такое CTR и conversion?

5.2 Критерии успеха

• CTR (Click-through rate) > 3% → люди заинтересованы
• Conversion rate (нажали кнопку) > 20% → они готовы попробовать
• Cost per lead < $2 → это экономически имеет смысл

Шаг 6: Валидация через Прототип и Тестирование

6.1 Создаю клик-через прототип

• Figma, Framer, InVision
• Не полностью разработано, но выглядит как реально
• Достаточно реалистично, чтобы пользователь мог «испытать»

6.2 Тестирование с пользователями

• 5-8 пользователей в usertesting session
• "Представь что это реальный продукт. Как бы ты сделал повторный платёж?"
• Наблюдаю: смогли ли они понять?
• Спрашиваю: понравилось ли им?

Успех:

• 8+ из 10 пользователей смогли выполнить задачу без подсказок
• Все сказали "это было бы полезно"

Шаг 7: Валидация через MVP и A/B тестирование

Это самая дорогая валидация, поэтому делаю её в конце.

7.1 Запускаю MVP для небольшой группы (10% пользователей)

• Feature flag для контроля
• Только для группы A, группа B не видит

7.2 Собираю метрики

Метрика                | Группа A (с фичей) | Группа B (без) | Разница
────────────────────────────────────────────────────────────
Time per transaction   | 1.5 мин            | 3.0 мин        | -50% ✓
Repeat rate           | 35%                | 20%            | +75% ✓
Daily active users    | 8500               | 8300           | +2.4% ✓
Conversion rate       | 15.5%              | 15.2%          | +0.3% ✗

7.3 Статистическая значимость

• Используюкалькулятор AB test (VWO, Optimizely)
• Нужно минимум 2 недели и 1000+ пользователей
• P-value < 0.05 (95% уверенность что не случайно)

Шаг 8: Анализ результатов и принятие решения

Если гипотеза подтверждена: ✓ Интервью показали что люди испытывают проблему ✓ Опрос показал что 70% хотят решение ✓ Landing page показал 25%+ conversion ✓ MVP показал +50% в key metric → ЗАПУСКАЮ для всех пользователей

Если гипотеза отклонена: ✗ Интервью показали что проблема не так болезненна ✗ Опрос показал что только 30% заинтересованы ✗ MVP не повлиял на key metrics → ПИВОТИРУЮ на новую гипотезу

Если результаты неоднозначны:

• Может быть мы тестировали неправильную версию?
• Может быть нужно больше времени?
• Может быть нужны итерации? → ИТЕРИРУЮ и проверяю снова

Распространённые ошибки при валидации

❌ Confirmation bias — я хочу верить в свою идею и подсознательно выбираю данные которые её подтверждают Решение: Заранее определю критерии успеха

❌ Asking leading questions — я спрашиваю так, что ответ очевиден "Правда ли это было сложно?" вместо "Что было сложного?" Решение: Открытые вопросы

❌ Говорю людям о решении перед проблемой — человек соглашается просто из вежливости Решение: Сначала спросить про боль, потом показать решение

❌ Недостаточно участников — 2-3 интервью недостаточно Решение: Минимум 8-10 для qualitative, 100+ для quantitative

❌ Игнорирую противоречивые данные — если 3 человека сказали нет, но я хочу сказать да Решение: Объективно анализирую все данные

Резюме

Валидация гипотез — это процесс, а не одноразовое действие. Я валидирую:

1. Проблема реальна (интервью)
2. Масштаб достаточный (опрос)
3. Люди готовы платить (landing page)
4. Наше решение работает (прототип)
5. В production это генерирует результаты (A/B тест)

Это снижает риск провала с 95% до <10%.