Как посчитать на сколько гипотеза может увеличить какую-либо метрику?

Как посчитать, на сколько гипотеза может увеличить метрику

Это математика продукта. PM должен уметь оценивать потенциал идеи ещё ДО разработки.

Шаг 1: Определить текущее состояние

Пример: Приложение для доставки еды

Текущие цифры:

• DAU: 100,000
• Среднее количество заказов на пользователя в месяц: 2
• Средний чек: $25
• Наша комиссия: 20%
• Месячный доход: 100,000 * 2 * $25 * 20% = $1,000,000

Шаг 2: Сформулировать гипотезу

Гипотеза: Если добавить "рекомендации ресторанов на основе AI", пользователи будут заказывать на 15% чаще.

Логика гипотезы:

• Люди часто не знают, куда заказать → заказывают реже
• Если показать персонализированные рекомендации → люди заказывают чаще
• Внедрена рекомендационная система → lift 10-20% (по бенчмаркам индустрии)

Шаг 3: Проверить, что 15% lift реалистичен

Методы проверки:

Метод 1: Бенчмарки (смотрим конкурентов)

• Uber Eats добавила AI рекомендации → reported 12% increase in order frequency
• DoorDash: 18% lift
• Наши конкуренты в стране: 10-15% typical

→ Вывод: 15% на нижнем конце реалистичного

Метод 2: Аналогия с другими фичами

• Когда добавили доставку в день → 25% lift (очень популярно)
• Когда улучшили фильтры → 8% lift (небольшая помощь)
• Рекомендации обычно дают 10-15% lift

→ Вывод: 15% соответствует истории похожих фич

Метод 3: User research

• Проведили интервью с 50 пользователями
• 35% сказали: "Я бы заказывал чаще, если бы было проще выбрать"
• 20% сказали: "Рекомендации помогли бы мне"

→ Вывод: 15-20% потенциал есть

Шаг 4: Расчёт impact с точностью

Сценарий 1: Conservative (10% lift — минимум)

Текущий заказ/пользователя: 2 в месяц
Новый: 2 * 1.10 = 2.2 заказа/пользователя
Дополнительные заказы: (2.2 - 2) * 100,000 = 20,000 заказов
Дополнительный доход: 20,000 * $25 * 20% = $100,000/месяц

Сценарий 2: Base case (15% lift — базовый)

Текущий: 2
Новый: 2 * 1.15 = 2.3 заказа/пользователя
Дополнительные заказы: 0.3 * 100,000 = 30,000 заказов
Дополнительный доход: 30,000 * $25 * 20% = $150,000/месяц

Сценарий 3: Optimistic (20% lift — максимум)

Текущий: 2
Новый: 2 * 1.20 = 2.4 заказа/пользователя
Дополнительные заказы: 0.4 * 100,000 = 40,000 заказов
Дополнительный доход: 40,000 * $25 * 20% = $200,000/месяц

Таблица трёх сценариев:

Средний потенциал: $150,000/месяц = $1.8M/год

Шаг 5: Вычесть стоимость разработки

Затраты:

• 2 разработчика на 8 недель: $100,000
• Инфраструктура ML (серверы, модели): $20,000/месяц
• Maintenance (30% разработчика): $10,000/месяц

Cumulative ROI:

Месяц 1-2 (разработка): затраты $100k, доход $0
Месяц 3: доход $150k - $10k (maintenance) = $140k net
Месяц 4-12: каждый месяц $140k net

Годовой profit = $140k * 10 месяцев = $1.4M
ROI = $1.4M / $100k = 14x

Окупается за: 1 месяц после запуска

Шаг 6: Учесть неопределённость и риски

Риск 1: Lift будет 5%, а не 15%

• Вероятность: 20%
• Результат: $500,000/год вместо $1.8M
• Всё равно выгодно

Риск 2: ML модель требует больше данных, чем ожидали

• Вероятность: 30%
• Результат: запуск на 4 недели позже
• Потеря доходов: $150k * 1 месяц = $150k
• Всё равно ROI posititive

Риск 3: Пользователи не понимают рекомендации (Trust issue)

• Вероятность: 10%
• Результат: lift 0% в первый месяц
• Решение: улучшить UX, показать, почему рекомендация

Взвешенный ожидаемый результат:

Expected value = (0.5 * 15% lift) + (0.3 * 8% lift) + (0.1 * 0% lift) + (0.1 * 20% lift)
                = 7.5% + 2.4% + 0% + 2% = 11.9% ≈ 12% lift

Консервативнее, но всё равно хорошо

Шаг 7: Правила большого пальца (quick estimates)

Когда нет времени на подробный расчёт:

Правило 1: Lift обычно в 50% от проспекта

• Если гипотеза обещает 30% lift → реальный 15%
• Если гипотеза обещает 10% → реальный 5%

Правило 2: Время на окупку

• Быстрые фичи (UI): окупаются за 1-2 месяца
• Средние (новая фичка): 3-6 месяцев
• Большие (рефакторинг): 6-12 месяцев

Правило 3: Если lift < 2% — не стоит делать (слишком мало)

Правило 4: Если ROI < 3x в первый год — рискованно

Шаг 8: Практические примеры расчётов

Пример 1: Улучшение onboarding

Гипотеза: новый onboarding снизит drop-off с 50% на 40%.

Новые юзеры в месяц: 10,000
Сейчас: 5,000 завершают (50% complete rate)
После: 6,000 завершают (60% complete rate)

Дополнительные завершённые: 1,000
Если каждый платит $10/месяц: $10,000/месяц
Если средний lifetime: 12 месяцев: $120,000 дополнительно

Стоимость разработки: $30,000 (2 недели)
ROI: $120,000 / $30,000 = 4x
Окупается: 3 месяца

Пример 2: Новая интеграция

Гипотеза: интеграция с Slack увеличит ARPU с $50 на $60 (для 20% пользователей).

Активные платные пользователи: 5,000
Кто включит интеграцию: 20% = 1,000
Дополнительный доход на пользователя: $10
Месячный дополнительный доход: 1,000 * $10 = $10,000
Годовой: $120,000

Стоимость: $40,000 (разработка + обслуживание)
ROI: $120,000 / $40,000 = 3x

Пример 3: Рискованная гипотеза

Гипотеза: новая социальная фича (друзья, поделиться) увеличит DAU на 30%.

Текущий DAU: 100,000
Прогноз DAU: 130,000 (+30,000)
Дополнительный доход (если ad-based): 30,000 * $0.05 CPM * 30 days = $45,000

Стоимость: $150,000 (сложная фича)
ROI: $45,000 / $150,000 = 0.3x (ОТРИЦАТЕЛЬНЫЙ!)

Вывод: эта гипотеза НЕ выгодна, если не увеличивает engagement.

Шаг 9: Как тестировать гипотезу перед разработкой

Вариант 1: Smoke test (быстро, дёшево)

Добавить рекомендации вручную для 100 пользователей, смотреть, упадёт ли engagement.

Если да → есть надежда на AI версию Если нет → гипотеза неправильная

Вариант 2: Mock-up и survey

Показать дизайн 500 пользователей: "Это поможет вам заказывать чаще?" Если 40%+ скажут "да" → гипотеза хорошая

Вариант 3: A/B тест с простым решением

Вместо ML рекомендации, показать популярные рестораны рядом. Если это даст хотя бы 5% lift → AI версия даст больше.

Инструменты для расчётов

Spreadsheet (Excel/Google Sheets):

• Простые расчёты
• Sensitivity analysis (что если цена вырастет на 10%?)
• Визуализация сценариев

SQL + Python:

• Для более сложных моделей
• Forecasting (прогноз на год)
• Statistical confidence

Product Analytics tools (Amplitude, Mixpanel):

• Вычитают lift автоматически
• A/B тесты встроены

Частые ошибки

❌ Не вычитать затраты

• "Lift 10% = $1M дополнительно" (но это без учёта $500k на разработку)

❌ Не учитывать каннибализацию

• Новая фича может уменьшить использование старой
• Net lift может быть < 0

❌ Верить в слишком оптимистичные цифры

• Industry benchmarks дают 15% → мы хотим 40%?
• Скорее всего не будет

❌ Забыть про long-tail effects

• Может быть, lift в день 7, но падает в день 30?
• Нужно смотреть на полный период жизни юзера

Заключение

Расчёт потенциала гипотезы:

1. Определи текущее состояние (DAU, ARPU, conversion)
2. Формулируй гипотезу (конкретный lift)
3. Проверь реалистичность (бенчмарки, research, аналогии)
4. Рассчитай три сценария (conservative, base, optimistic)
5. Вычти затраты (разработка + maintenance)
6. Посчитай ROI (должен быть > 3x за год)
7. Учти риски (expected value вместо best case)
8. Тестируй перед разработкой (smoke test, survey, pilot)

PM, который так считает, может объяснить любому: почему мы делаем эту фичу и сколько денег она принесёт.