Как оцениваешь эффективность проекта?

Как оценить эффективность проекта

Эффективность — это не одна цифра. Это комплекс метрик, которые показывают, достигли ли мы своей цели и стоит ли это было сделать.

Шаг 1: Определить цель проекта

Не все проекты преследуют одну цель:

Тип 1: Revenue-driven проект

• Цель: увеличить доход
• Успех: ARR вырос на $100k
• Пример: новый платный тариф

Тип 2: User acquisition проект

• Цель: привлечь новых пользователей
• Успех: DAU вырос на 20%
• Пример: viral feature, referral program

Тип 3: Retention проект

• Цель: удержать существующих
• Успех: churn упал с 5% до 3%
• Пример: улучшение onboarding, gamification

Тип 4: Product quality проект

• Цель: улучшить продукт (но не все видят результат сразу)
• Успех: baug bounce на 50%, performance улучшен
• Пример: рефакторинг, исправление критических ошибок

Тип 5: Strategic проект

• Цель: подготовиться к будущему
• Успех: готовность к масштабированию
• Пример: миграция на новую архитектуру

ПЕРВЫЙ ШАГ: четко определить тип проекта и его цель.

Шаг 2: Установить baseline (исходное состояние)

Преди началом проекта нужно знать: где мы сейчас?

Пример для retention проекта:

До проекта:

• Day 7 retention = 35%
• Day 30 retention = 15%
• Churn rate = 8% в месяц
• Average session length = 2.5 минуты

Через месяц после запуска:

• Day 7 retention = 42% (+7 процентных пункта)
• Day 30 retention = 20% (+5 pp)
• Churn rate = 7% (-1 pp)
• Average session length = 3.2 минуты (+28%)

Вывод: Проект помог, но не так сильно, как ожидали. Нужен анализ.

Шаг 3: Выбрать правильные метрики (не все цифры равны)

Ошибка: Смотреть на все метрики сразу Правильно: Выбрать 1-2 primary метрики и 3-4 secondary

Пример для проекта "улучшение мобильного UX":

Primary метрики (что мы хотим изменить):

• Mobile day 7 retention: было 25%, целей 40%+
• Mobile session length: было 1.5 мин, цель 3+ мин

Secondary метрики (мониторим, но не главное):

• Desktop retention: не должна упасть
• Bug reports: не должны вырасти (что-то сломали?)
• Performance (loading time): должен улучшиться

Vanity метрики (НЕ смотрим):

• Total users (может быть, пришли плохие пользователи)
• Pageviews (может быть, бесцельно кликают)
• DAU (без контекста бесполезно)

Шаг 4: Выбрать правильный горизонт оценки

Проблема: Некоторые проекты показывают результат неделю, другие месяц, третьи полгода.

Пример:

• Новая фича (простая): оценивай за неделю
• Новая фича (сложная): оценивай за месяц
• Маркетинг кампания: оценивай за 3 месяца (нужно время на adoption)
• Архитектурные изменения: оценивай за 6 месяцев (долгосрочные эффекты)

Важно: Не смотреть на результат слишком рано. Вот ошибочный пример:

"Мы запустили новую фичу, а engagement упал на 10%. Фича не работает!"

Но это был день 1. Может быть:

• Люди ещё не знают о фиче
• Первопроходцы - это не целевая аудитория
• Нужна 1-2 недели, пока люди привыкнут

Шаг 5: Использовать разные методы оценки

Метод 1: Прямое сравнение (A/B test)

Идеально: рандомно 50% пользователей видят старое, 50% новое

Контрольная группа (старое): day 7 retention = 35%
Тест группа (новое): day 7 retention = 42%

Лифт = 42% / 35% = 20% улучшение

Это самый надежный метод.

Метод 2: Когортный анализ (если нет A/B теста)

Сравниваем пользователей ДО и ПОСЛЕ запуска:

Когорта (до запуска): 2,000 пользователей, day 7 retention 35%
Когорта (после запуска): 2,000 пользователей, day 7 retention 42%

Минус: может быть влияние других факторов (сезонность, маркетинг кампания)

Метод 3: Qualitative feedback

Цифры - это хорошо, но нужно слышать людей:

• User interviews: "Нравится ли вам новая фича?"
• NPS: "Порекомендовали бы вы нас?"
• Sentiment анализ: что говорят в соцсетях?

Шаг 6: Считать ROI (Return on Investment)

ROI = (Выгода - Затраты) / Затраты * 100%

Пример:

Проект: Новая фича "рекомендации продуктов"

Затраты:

• 2 разработчика * 4 недели = 320 часов
• 1 дизайнер * 2 недели = 80 часов
• Инфраструктура: $5,000 в месяц
• Итого: примерно $50,000

Выгода:

• Увеличили ARPU с $100 на $115 на 30% пользователей
• 10,000 активных юзеров * 30% = 3,000 улучшено
• Дополнительный доход: 3,000 * $15 = $45,000 в месяц
• За первый месяц: $45,000

ROI за первый месяц: (45,000 - 50,000) / 50,000 = -10% (отрицательный)

За второй месяц: (45,000 - 5,000) / 50,000 = 80% (положительный)

Вывод: Проект окупается на втором месяце. За год выгода = $45,000 * 12 - $50,000 = $490,000.

Шаг 7: Анализ субопций (что пошло не так?)

Если проект не достиг цели:

Причина 1: Неправильная гипотеза

• Гипотеза: юзеры хотят рекомендации
• Реальность: юзеры не верят алгоритму
• Решение: улучшить качество рекомендаций (лучше ML модель)

Причина 2: Плохая реализация

• Гипотеза: правильная
• Реальность: интерфейс запутанный, люди не понимают как использовать
• Решение: переделать UX

Причина 3: Неправильный timing

• Гипотеза: правильная
• Реальность: запустили посреди сезонного спада
• Решение: переложить на лучший период

Причина 4: Недостаточно данных

• День 7 улучшилась, но день 30 нет
• Может быть, люди используют фичу, но потом забывают?
• Решение: добавить push-уведомления, напоминания

Шаг 8: Создать Dashboard для отслеживания

Хороший PM всегда видит картину:

Проект: Улучшенный Onboarding
Запущено: 2024-03-15

Прогресс:
- Day 1 completion: целевой 80%, текущий 78% ✓
- Day 7 retention: целевой 50%, текущий 48% ◐
- Day 30 retention: целевой 25%, текущий 20% ✗
- NPS: целевой 40, текущий 35 ◐

Общее состояние: На правильном пути, но день 30 требует анализа

Планы на неделю:
1. Интервью с пользователями, которые ушли в день 7-30
2. Добавить email напоминание на день 10
3. Улучшить фичу, которую мало используют

Шаг 9: Долгосрочная оценка

После первого месяца нужно оценивать каждый месяц.

График эффективности над временем:

Эффективность
↑
|        ___
|       /   \___
|      /         (plateau)
|     /
|____/
  неделя 1-2 (peak)    3-4 (adaptation)     5+ (steady state)

Обычно:

• Недели 1-2: spike, люди экспериментируют
• Недели 3-4: падение, люди привыкают или уходят
• Неделя 5+: стабилизация (истинная цифра)

Инструменты для оценки

Tool 1: OKRs framework

Objective: Улучшить удержание мобильных пользователей

Key Result 1: Day 7 retention вырос с 25% на 40%
Key Result 2: Session length вырос на 50%
Key Result 3: Churn упал на 30%

Tool 2: Northstar metric Одна главная метрика, которая показывает здоровье продукта:

• Slack: Message sent (если люди отправляют сообщения, продукт работает)
• Spotify: Hours listened
• Uber: Rides completed

Для вашего проекта northstar может быть retention, ARPU или something else.

Частые ошибки при оценке

❌ Смотреть только на положительные цифры

• Engagement вырос на 20%... но churn тоже вырос на 10%?
• Смотри на всю картину

❌ Оценивать слишком рано

• "День 2, и результатов нет!" - дайте времени

❌ Не учитывать контекст

• Retention упал... но это потому что запустили новую фичу, которая привлекла новых юзеров
• Нужно смотреть по когортам

❌ Игнорировать качественный feedback

• Цифры говорят "успех", но пользователи жалуются
• Слушай людей

Заключение

Оцениваать эффективность проекта — это:

1. Определить цель — что мы хотим достичь?
2. Установить baseline — где мы сейчас?
3. Выбрать метрики — 1-2 primary, 3-4 secondary
4. Выбрать горизонт — когда смотреть результаты?
5. Использовать A/B тесты — если возможно
6. Считать ROI — стоило ли это сделать?
7. Анализировать подробно — почему именно такие результаты?
8. Слушать пользователей — не только цифры
9. Итерировать — если не работает, улучшай и пробуй снова

PM, который правильно оценивает эффективность, может быстро учиться и улучшать продукт. Это главный навык в данной роли.