Как вы будете выбирать метрики для оценки успешности новой фичи в продукте?

Как вы будете выбирать метрики для оценки успешности новой фичи в продукте?

Системный подход к выбору метрик

Выбор правильных метрик - это одна из самых критичных задач Product Analyst'а. Неправильные метрики приведут к неправильным решениям. Я использую структурированный процесс, который начинается еще до разработки фичи.

Фаза 1: Понимание цели фичи

Первое, что я делаю - задаю вопросы продукт-менеджеру:

Вопросы для уточнения:

• Какую проблему решает эта фичка?
• Кто целевая аудитория?
• Как это влияет на бизнес?
• Какой долгосрочный эффект ожидается?
• Есть ли ограничения (например, по ресурсам)?

Пример диалога:

PM: "Хочим добавить функцию выбора рекомендаций перед покупкой"

Я спрашиваю:

• Какую проблему это решает? (Пользователи не знают, какой товар выбрать)
• Для кого? (Для новых пользователей первой покупки)
• Бизнес-цель? (Увеличить average order value и конверсию)

Фаза 2: Построение цепочки причинности

Я создаю логическую цепь:

Изменение фичи → Поведение пользователя → Промежуточная метрика → Бизнес-метрика

Пример для фичи "Рекомендации":

Добавляем блок с рекомендациями
        ↓
Пользователь видит подходящий товар
        ↓
Кликает на рекомендованный товар (CTR рекомендаций)
        ↓
Добавляет его в корзину (cart addition rate)
        ↓
Завершает покупку (conversion rate)
        ↓
Растет выручка (revenue per user)

Эта цепь помогает понять, какие метрики я должен отслеживать.

Фаза 3: Выбор метрик

Я выбираю метрики трех уровней:

1. Primary Metric (Первичная метрика)

Это метрика, которая напрямую отражает успех фичи. Обычно это бизнес-метрика:

Примеры для разных типов фич:

Для фич, нацеленных на рост:

• Conversion rate (конверсия из браузера в покупателя)
• Signups (новые регистрации)
• Activation rate (% активных пользователей на день 1)

Для фич, нацеленных на engagement:

• Daily Active Users (DAU)
• Session length
• Features usage rate

Для фич, нацеленных на монетизацию:

• Revenue per user
• Average order value
• Lifetime value (LTV)

Для фич, нацеленных на удержание:

• Day-7 retention
• Day-30 retention
• Churn rate

Выбираю одну-две primary метрики. Больше - теряется фокус.

Для примера с рекомендациями: Primary Metric = Average Order Value (средняя сумма заказа)

2. Secondary Metrics (Вторичные метрики)

Это метрики, которые помогают понять ПОЧЕМУ изменилась primary метрика:

Для рекомендаций:

• Click-through rate на рекомендации (% пользователей, кликнувших)
• Items from recommendations per order (сколько рекомендованных товаров в заказе)
• Repeat purchase rate from recommendations (% пользователей, повторно купивших рекомендованный товар)

Эти метрики показывают, активно ли пользователи используют фичу и почему она работает.

3. Guard Metrics (Защитные метрики)

Это метрики, которые НЕ должны снизиться. Если primary метрика выросла, но guard метрика упала - это плохо:

Для рекомендаций:

• Page load time (время загрузки страницы не должно вырасти)
• Bounce rate (пользователи не должны уходить быстрее)
• Return rate (пользователи должны возвращаться с той же частотой)
• Customer satisfaction (NPS)

Фаза 4: Определение baseline

Перед запуском теста я измеряю текущие значения:

Прежде чем добавить рекомендации:
- Average Order Value = 2,500 руб
- Conversion Rate = 3.2%
- Page Load Time = 1.2 сек
- 7-day retention = 35%

Этот baseline - основа для сравнения.

Фаза 5: Определение целевых значений

Я спрашиваю: "На сколько % нам нужно улучшиться, чтобы фичу считать успешной?"

Консервативный подход: ожидаем улучшение на 2-5% Оптимистичный подход: ожидаем улучшение на 10-20%

Для рекомендаций: Ожидаем AOV вырастет на 5-10% (с 2,500 до 2,625-2,750 руб).

Фаза 6: Определение размера выборки и длительности теста

Использую статистические формулы:

Нужный размер выборки:

n = (Z_α + Z_β)² × p × (1-p) / (δ)²

Где:

• α = 0.05 (уровень значимости)
• β = 0.20 (статистическая мощность 80%)
• p = текущее значение метрики
• δ = минимальный эффект, который хочу обнаружить

Для AOV = 2,500, целевой эффект = +5% (750 руб), нужно примерно 3,000-5,000 пользователей в каждой группе.

Длительность теста = (Нужный размер выборки) / (Дневной трафик)

Если 500 пользователей в день → нужно 6-10 дней тестирования.

Фаза 7: Сегментация метрик

Одна и та же фичка может иметь разный эффект на разные сегменты:

Я разбиваю метрики по:

• Новые vs существующие пользователи
• Платящие vs неплатящие
• Мобильные vs desktop
• Разные страны
• Разные девайсы

Пример:

Общий AOV вырос на 3%, но:

• Новые пользователи: +8%
• Существующие: +1%

Звучит как фичка помогает именно новичкам понять, что купить.

Фаза 8: Долгосрочное отслеживание

Метрики меняются со временем. После запуска фичи я отслеживаю:

Day 1-7: Начальный эффект (новизна, curiosity) Week 2-4: Устойчивый эффект (люди привыкли) Month 3+: Долгосрочный эффект (не надоела ли фичка?)

Пример:

Рекомендации - AOV динамика:
День 1-3: +15% (все пользователи пробуют)
День 8-14: +7% (эффект мал... сохраняется)
День 30+: +4% (стабилизировалось)

Если эффект упал с 15% до 2% - это красный флаг. Пользователи, видимо, привыкли игнорировать рекомендации.

Фаза 9: Анализ паттернов

Осмотрю, есть ли нежелательные паттерны:

Отрицательные паттерны:

• Эффект выше у пользователей, которые и так часто покупают (фичка не привлекает новичков)
• Эффект только на первый день (пользователи быстро теряют интерес)
• Побочный эффект: люди покупают дешевле (AOV вырос, но средняя цена товара упала)

Фаза 10: Решение

На основе всех метрик принимаю решение:

LAUNCH - все метрики выглядят хорошо ITERATE - некоторые метрики не достигли цели, нужно переработать фичу KILL - метрики показывают, что фичка не работает

Пример полного набора метрик для рекомендаций

Вывод: Фичка успешна. Запускаем для 100% пользователей.

Заключение

Выбор метрик - это не случайность, это стратегия. Правильные метрики:

1. Связаны с бизнес-целями
2. Доступны для измерения
3. Чувствительны к изменениям
4. Понятны всей команде
5. Показывают полную картину (primary + secondary + guard)

Забыв хотя бы об одной группе метрик, можно запустить фичу, которая выглядит хорошо, но на самом деле ломает что-то другое.