Какие методы используешь для тестирования гипотез?

Методы тестирования гипотез в Product Management

Иерархия тестирования

Не все гипотезы требуют масштабного A/B теста за миллион рублей. Я использую пирамиду тестирования: сначала самые дешёвые и быстрые методы, потом переходу к дорогим, только если есть уверенность.

Качественные методы (самые быстрые)

User Interviews — беседы с 5-10 пользователями. За 2-3 дня можно понять, имеет ли гипотеза смысл. Не нужна статистика, нужны инсайты. Пример: "Если мы добавим экспорт в PDF, будут ли люди это использовать?" — спросим 10 активных юзеров.

Contextual Inquiry — наблюдение за пользователем в его естественной среде. Как он работает с продуктом? Где возникают боли? Дешево, быстро, честно.

Concept Testing — показываем макет или wireframe и смотрим реакцию. Нарисовал в Figma, отправил 20 пользователям, собрал feedback. За неделю понимаем, стоит ли двигаться дальше.

Expert Review — показываешь дизайн UX эксперту, он указывает на проблемы. Дешево и быстро, но нужен хороший эксперт.

Количественные методы (среднего уровня)

Landing page test — для новых features или продуктов. Создаём простую landing page, гоним трафик, смотрим, как много людей нажимают "Узнать больше" или заполняют форму. За 2-3 недели собираем статистику.

Survey / Questionnaire — отправляем опрос 100+ пользователям. Быстро и дёшево, но люди часто врут. "Будешь ли ты платить за это?" — и 70% говорят "да", а потом никто не платит.

Analytics Cohort Analysis — смотрим историческую информацию. "Пользователи, которые использовали feature A, имели выше retention, чем те, кто не использовал?" Не дорого, потому что данные уже есть.

Prototype Testing — делаем кликабельный прототип в Figma или Framer, даём юзерам поиграться, смотрим, как они используют. За неделю понимаем, работает ли базовая идея.

A/B тестирование (масштабный тест)

Классический A/B test — 50% пользователей видят вариант A, 50% видят вариант B. Смотрим метрику (конверсию, retention, engagement). Статистически достоверный результат даёт ответ на вопрос, что работает лучше. Обычно требует 1000+ пользователей и 2-4 недели.

Multivariate Testing — тестируем несколько элементов одновременно. Не рекомендую для новичков, потому что нужен большой трафик и хорошое понимание статистики.

Rollout-based Testing — выкатываем feature для 10% пользователей, потом 25%, потом всем. Смотрим метрики на каждом этапе. Позволяет быстро остановиться, если видим проблемы.

Специализированные методы

Jobs to be Done (JTBD) interviews — глубокие интервью (1-2 часа), где мы понимаем, какую работу нанимает пользователь ваш продукт. Дорого и долго, но очень мощно для стратегических решений.

Card Sorting — даём юзерам карточки с features и просим их организовать. Помогает понять информационную архитектуру.

Wizard of Oz Testing — притворяемся, что автоматизация работает, а на самом деле человек позади делает руками. Очень дешёво протестировать, нужна ли людям сложная фича, до того как её разработать.

Fake Door Test — показываем кнопку несуществующей функции. Если люди кликают, значит хотят эту функцию. Если нет кликов — не нужна.

Мой процесс

День 1-2: Сформулирую гипотезу, сделаю качественный research (interviews, наблюдения).

День 3-7: Создам прототип и проведу concept testing.

День 8-21: Если нужна статистика — A/B тест или landing page.

После: Анализирую результаты, принимаю решение: go, no-go или pivot.

Ключевой вывод

Lean Product Management — это быстрое тестирование малыми силами. Не жди идеального решения, не жди идеального тайминга. Выдвигай гипотезу, тестируй, учись, повторяй. Самые дорогие ошибки — это не ошибки в быстрых тестах, а ошибки, которые не заметили и накатили на миллион рублей в разработку без тестирования.