Какие метрики запросишь у аналитиков чтобы понять почему не сработала гипотеза?

Какие метрики запросишь у аналитиков чтобы понять почему не сработала гипотеза?

Когда гипотеза не сработала (продажи упали, adoption низкая, конверсия не выросла), первое, что я делаю — разбираюсь, ПОЧЕМУ. Без этого понимания я не знаю, что менять в следующей итерации. И вот какие метрики и вопросы я задаю аналитикам.

Фаза 1: Базовая диагностика

Вопрос 1: Люди вообще видят новую фичу?

Метрики, которые нужны:

• Feature exposure — какой процент пользователей увидел новую фичу?
  • Если 100% пользователей видели фичу, но только 2% её использовали → проблема в UX
  • Если 20% пользователей видели фичу → проблема в discoverability (фичу не заметна)

Запрос аналитику:

"Сколько % пользователей видели новую кнопку 'Купить рассрочкой'?
 Это считается как: clicked on page where button appears / total users on page"

Что это говорит:

• Если exposure < 30% → люди её не видят, может быть, она слишком маленькая, неправильный цвет, не в фокусе
• Если exposure > 70% → значит, видят, проблема в том, что не кликают

Вопрос 2: Кто кликает на фичу?

Метрики:

• Click-through rate (CTR) — процент пользователей, которые кликнули на фичу из всех, кто её видел
• Segmented CTR — CTR по разным сегментам:
  • Desktop vs Mobile
  • New users vs Returning users
  • By traffic source (organic, paid, direct)
  • By country/language

Запрос:

"CTR по segmentам:
- Desktop: X%
- Mobile: Y%
- New: X%
- Returning: Y%

Какой segment имеет самый низкий CTR?"

Что это говорит:

• Если CTR на мобиле 2% vs desktop 8% → проблема в мобильном UX (кнопка слишком маленькая?)
• Если CTR новых пользователей 1% vs старых 10% → старые пользователи знают про фичу, новые нет

Фаза 2: Глубокий анализ поведения

Вопрос 3: Люди кликают, но потом что?

Метрики:

• Funnel drop-off — где люди уходят из процесса?
  • Видят кнопку → кликают (100%)
  • Видят форму (95%)
  • Заполняют форму (60%)
  • Подтверждают (40%)
  • Завершают (30%)

Запрос:

"Покажи воронку (funnel) для процесса 'Рассрочка':
1. Clicked on 'Installment' button
2. Saw installment offer modal
3. Selected installment plan
4. Completed checkout

На каком шаге больше всего людей уходит?"

Что это говорит:

• Если drop-off на "selected installment plan" → людям не нравятся условия (процентная ставка высокая?)
• Если drop-off на "saw modal" → люди испугались (слишком много инфо?)
• Если все доходят до конца, но потом не платят → проблема в payment gateway

Вопрос 4: Какие типы пользователей НЕ используют фичу?

Метрики:

• User segmentation:
  • Age (if available)
  • Gender
  • Income level / price sensitivity
  • Previous purchase history
  • Geographic location
  • Device type

Запрос:

"Кто больше всего использует 'Рассрочку':
- По возрасту? (18-25, 25-35, 35-50, 50+)
- По полу? (M/F)
- По истории покупок? (first-time buyers vs repeat)
- По регионам?

Это совпадает с нашей целевой аудиторией?"

Что это говорит:

• Если рассрочку используют в основном молодые люди < 30 лет → фича резонирует только с одним сегментом
• Если first-time buyers не используют, только repeat → нужно рекламировать им отдельно
• Если только из определённой страны → проблема может быть в доступности (не везде рассрочка доступна)

Фаза 3: Причины низкой конверсии

Вопрос 5: Люди возвращаются ли после первого клика?

Метрики:

• Repeat interaction rate — те же люди пробуют ещё раз
• Return rate — люди возвращаются на следующий день
• Session duration — сколько времени они тратят на изучение рассрочки

Запрос:

"Из 100 пользователей, которые кликнули на рассрочку:
- Сколько кликают второй раз? (20%)
- Сколько возвращаются завтра? (5%)
- Какой средний time-on-page для рассрочки? (X seconds)"

Что это говорит:

• Если люди не возвращаются → интерес однократный, не работает retention
• Если session duration очень короткий (< 5 sec) → они не читают информацию, не понимают

Вопрос 6: Как рассрочка сравнивается с другими платежными методами?

Метрики:

• Payment method distribution:

  • Credit card: X%
  • Installment: Y%
  • PayPal: Z%

• Conversion rate by payment method:

  • Credit card: 5%
  • Installment: 1%
  • PayPal: 3%

Запрос:

"Сравни конверсию по разным способам оплаты:
- Кредитная карта: X%
- Рассрочка: Y%
- PayPal: Z%

Рассрочка выбирают реже? На сколько?"  

Что это говорит:

• Если люди предпочитают другие методы → может быть, процентная ставка слишком высокая
• Может быть, люди не доверяют партнёру по финансированию

Фаза 4: Техническая диагностика

Вопрос 7: Есть ли технические проблемы?

Метрики:

• Error rates — сколько % юзеров видят ошибки при использовании рассрочки
• Page load time — медленно ли грузится форма рассрочки
• Browser compatibility — работает ли на всех браузерах
• Mobile vs Desktop performance — разные ошибки на разных устройствах

Запрос:

"Сколько ошибок при использовании рассрочки:
- JavaScript errors: X% users
- API errors: Y% users
- Form validation errors: Z% users

Page load time для модального окна рассрочки: X ms
Это быстро или медленно?"

Что это говорит:

• Если много JS ошибок → фича просто не работает для части пользователей
• Если modal грузится 3 секунды → люди уходят, не дождавшись

Фаза 5: Конкурентный анализ

Вопрос 8: Что делают конкуренты?

Метрики (нужно сравнивать вручную на сайтах конкурентов):

• Где размещают рассрочку?
• Как они её называют?
• Какую процентную ставку показывают?
• Какие платежные планы? (3/6/12 месяцев)
• Как им работает? (метрики их вряд ли поделятся)

Вопрос себе:

"Посмотрю на сайт конкурентов X, Y, Z:
- Где у них рассрочка? (сверху, внизу, отдельный раздел?)
- Как её стилизуют? (color, size, prominence)
- Какую информацию показывают? (только ставка? или примеры платежей?)
- Какие интеграции? (это рассрочка их собственная или через Sberbank?)"

Что это говорит:

• Может быть, конкуренты вообще не используют рассрочку (значит, нишевая фича)
• Может быть, они используют, но с другим подходом (может быть, их выше по странице)

Фаза 6: Причины, которые ЧАСТО оказываются виноваты

Когда гипотеза не сработала, это обычно:

1. UX проблемы

• Люди не понимают, как это работает
• Форма слишком сложная
• Текст неясный (технический жаргон)

Метрики:

• Feedback в support: "Что это? Как это работает?"
• Session recordings показывают, что люди кликают не туда
• A/B тест более простой дизайн vs текущий

2. Экономические причины

• Процентная ставка слишком высокая
• Люди не понимают стоимость (скрытые комиссии?)
• Не все квалифицируются (credit score слишком низкий)

Метрики:

• Поиск в Google: люди ищут "installment rates comparison"
• Support: вопросы о комиссиях, скрытых платежах
• Demographic analysis: рассрочку используют только rich люди → значит, слишком дорога для бедных

3. Неверная целевая аудитория

• Мы думали, что все хотят рассрочку, но хотят только молодые люди
• Или наоборот, только пожилые люди используют кредиты
• Или только люди с определённым доходом

Метрики:

• Segmented adoption по возрасту, доходу, демографии
• Если один segment использует на 15%, остальные на 1% → проблема в targeting

4. Проблема с контролем (не сравнивали с baseline)

• Может быть, конверсия вообще упала у всех (не из-за рассрочки)
• Может быть, была акция конкурента и люди просто ушли
• Может быть, летний спад (сезонность)

Метрики:

• Сравни конверсию за этот период vs тот же период года назад
• Смотри на конкурентов: их конверсия тоже упала?
• Проверь: есть ли external events (праздники, новости, экономический кризис)

Полный чеклист метрик для аналитика

## Когда гипотеза не сработала, запросить у аналитика:

### Exposure & Visibility
- [ ] Feature exposure rate: X% users saw the feature
- [ ] Feature exposure by segment (device, traffic source, geography)
- [ ] Visibility in different sections of the page (above fold vs below)

### Engagement
- [ ] Click-through rate (CTR) overall: X%
- [ ] CTR by segment (device, new vs returning, traffic source)
- [ ] Repeat interaction rate (same users coming back)
- [ ] Session duration when feature is visible

### Funnel Analysis  
- [ ] Drop-off at each step of the funnel
- [ ] Where exactly people abandon (which field, which step)
- [ ] Time spent at each step

### User Segmentation
- [ ] Which demographics use the feature most? (age, gender, income level)
- [ ] Which segments have lowest engagement?
- [ ] Is this matching our target persona?
- [ ] Geographic differences (by country, region)

### Technical
- [ ] JavaScript errors affecting the feature: X% of users
- [ ] Page load time for the feature
- [ ] Mobile vs desktop error rates
- [ ] Browser compatibility issues

### Competitive
- [ ] How often are other payment methods used?
- [ ] Conversion rate by payment method
- [ ] Which payment methods are growing / declining?

### Business Context
- [ ] Overall conversion trend (vs same period last year)
- [ ] Is this specific to this feature or company-wide?
- [ ] Any external events that could explain the result?

### Verbatim Feedback
- [ ] Support tickets mentioning the feature
- [ ] User feedback/NPS comments about the feature
- [ ] Session recordings of users trying the feature

Пример: Анализируем почему рассрочка не сработала

Гипотеза: "Если добавим рассрочку, конверсия вырастет с 4% до 6%"

Результат: Конверсия осталась 4%, adoption рассрочки только 0.5% (из 100 юзеров только 0.5 выбрали её)

Мой анализ:

1. Exposure? Аналитик говорит: 80% пользователей видели кнопку рассрочки ✓
2. CTR? Только 1% кликнули на кнопку ✗ (очень низко)
3. Почему низкий CTR?
   • Кнопка маленькая? (нет, размер нормальный)
   • Цвет невидимый? (нет, контрастная)
   • Текст неясный? (может быть, "Рассрочка" - неясный для 50% пользователей)
4. Funnel: 1% кликнули → 50% увидели форму → 80% заполнили → 30% завершили
   • Большой drop на "заполнили форму" (20% людей бросают)
5. Демография: Рассрочку используют в основном 25-35 лет, с доходом $50K+
   • Молодые люди < 25 и старые > 45 не интересуются
6. Support feedback: Вопросы: "Какая процентная ставка?" "Какие документы нужны?" "Можно ли отказаться если одобрена?"
   • Люди не понимают условия

Вывод: Не сработала гипотеза потому что:

1. Люди не кликают (текст неясный, не привлекает внимание)
2. Когда кликают, видят слишком много информации (страшит)
3. Процентная ставка слишком высокая для целевой аудитории (ниже 25 лет, низкий доход)
4. Процесс оформления сложный (нужны документы)

Решение:

• A/B тест с текстом "Оплатить в рассрочку от 199 руб/месяц" (более привлекательный)
• Упростить форму (только email + phone)
• Снизить процентную ставку (договор с банком)
• Промоутить только для segment 25+

Итог

Когда гипотеза не сработала, я не паникую. Я систематически запрашиваю метрики, которые помогают мне понять:

1. Видят ли люди фичу?
2. Кликают ли они?
3. Где они бросают процесс?
4. Какие сегменты не используют?
5. Есть ли техничес проблемы?
6. Что говорят конкуренты и support?

Эти вопросы и метрики помогают мне быстро найти причину и взять курс на следующую итерацию (улучшить UX, изменить pricing, переориентировать на другой segment, или совсем отказаться от идеи).