Какое самое лучшее исследование делал?

Самое Лучшее Исследование: Анализ Причин Churn в SaaS

Я гордюсь одним исследованием, которое я провёл два года назад. Оно требовало 6 недель работы, вовлекло множество методик, и результаты действительно изменили направление компании. Расскажу о нём в деталях.

Проблема и Контекст

Компания была SaaS с $3M ARR и ежемесячным churn в 8%. Это выше здорового уровня (2-3% для SaaS), и CFO требовал улучшений.

На поверхности это выглядело как проблема retention, но никто не понимал, ПОЧЕМУ люди уходят. Было несколько гипотез:

• Плохо качество продукта (баги)
• Плохо качество customer success (они нас не поддерживают)
• Дорогое ценообразование
• Появилась лучшая альтернатива
• Пользователи просто не получают value

Мой босс сказал: "Разберись в этом, у тебя есть 6 недель".

Методология: Многоуровневый Анализ

Я не полагался на один подход. Использовал комбинацию:

1. Кохортный Анализ (1 неделя)

Первым делом я построил retention curves для всех когорт за 2 года:

WITH cohorts AS (
  SELECT 
    DATE_TRUNC('month', signup_date)::date as signup_month,
    user_id,
    churn_date
  FROM users
),
retention AS (
  SELECT 
    signup_month,
    (DATE_TRUNC('month', churn_date)::date - DATE_TRUNC('month', signup_date)::date) / '1 month'::interval as months_to_churn,
    COUNT(*) as churned_users
  FROM cohorts
  WHERE churn_date IS NOT NULL
  GROUP BY signup_month, months_to_churn
)
SELECT 
  signup_month,
  months_to_churn,
  churned_users,
  SUM(churned_users) OVER (PARTITION BY signup_month ORDER BY months_to_churn) as cumulative_churn
FROM retention
ORDER BY signup_month, months_to_churn;

Findings:

• Месяц 1: 25% уходят (новые пользователи не получили value)
• Месяц 2-6: 3% уходят в месяц (стабильное ядро)
• Месяц 7+: 15% уходят в месяц (долгосрочные пользователи всё ещё уходят)

Это было странно. Обычно, если люди остаются 6 месяцев, они становятся стабильными. Здесь наоборот.

2. Анализ Поведения: Churned vs Retained (2 недели)

Мне нужно было понять, чем отличаются люди, которые ушли, от тех, кто остался.

WITH user_behavior AS (
  SELECT 
    u.user_id,
    u.churn_date IS NOT NULL as churned,
    COUNT(DISTINCT DATE(l.login_date)) as days_active,
    COUNT(DISTINCT l.session_id) as total_sessions,
    AVG(l.session_duration) as avg_session_duration,
    COUNT(DISTINCT CASE WHEN l.feature_used = 'export' THEN 1 END) as export_count,
    COUNT(DISTINCT CASE WHEN l.feature_used = 'api' THEN 1 END) as api_count,
    MAX(DATEDIFF(day, u.signup_date, l.login_date)) as days_since_signup,
    COUNT(DISTINCT CASE WHEN l.error = 1 THEN 1 END) as error_encounters
  FROM users u
  LEFT JOIN logins l ON u.user_id = l.user_id
  GROUP BY u.user_id
)
SELECT 
  churned,
  COUNT(*) as users,
  AVG(days_active) as avg_days_active,
  AVG(total_sessions) as avg_sessions,
  AVG(avg_session_duration) as avg_session_duration,
  AVG(export_count) as avg_exports,
  AVG(api_count) as avg_api_calls,
  AVG(error_encounters) as avg_errors
FROM user_behavior
GROUP BY churned;

Шокирующее открытие:

Вывод: Люди, которые ушли, не использовали advanced features (Export, API). Они застревали раньше, чем это могло помочь.

3. Анализ Feedback: Опросы и Интервью (2 недели)

Я провёл опрос 50 пользователей, которые вышли в последние 3 месяца. Вопросы были простыми:

• Почему вы решили отменить подписку?
• Что вам не понравилось?
• Что было самым сложным?
• Какой конкурент вы используете теперь?

Результаты:

Почему отменили подписку:
- Не понимал, как использовать [46%]
- Нашёл более дешевую альтернативу [23%]
- Не получил нужный результат [19%]
- Плохо качество поддержки [12%]

Основная боль (Top 3):
1. Onboarding был слишком сложным (не было видео, не было примеров)
2. Документация была неполной
3. Нет живого примера (demo project), нужно было создавать с нуля

Это был game changer для меня. Проблема не в качестве продукта — люди просто не могли его использовать!

4. Анализ Конкурентов (1 неделя)

Я посмотрел на конкурентов и их onboarding:

• Конкурент A: 5-минутное видео intro
• Конкурент B: готовый template + guided tour
• Конкурент C: live demo по видеозвонку в течение часа (при signup)

Мой продукт: "Вот документация, читайте, создавайте свой проект с нуля".

5. Корреляционный Анализ: Onboarding Completion vs Retention

Я посмотрел на то, какой процент новых пользователей проходит onboarding (например, смотрит видео, создаёт first project):

WITH onboarding_completion AS (
  SELECT 
    user_id,
    CAST(watched_video AS INT) + CAST(created_first_project AS INT) + CAST(invited_teammate AS INT) as completion_score,
    DATEDIFF(month, signup_date, churn_date) as months_to_churn
  FROM user_onboarding
),
retention_by_score AS (
  SELECT 
    completion_score,
    COUNT(*) as users,
    COUNT(CASE WHEN months_to_churn > 6 THEN 1 END) * 100.0 / COUNT(*) as retention_6m
  FROM onboarding_completion
  GROUP BY completion_score
)
SELECT * FROM retention_by_score ORDER BY completion_score;

Результат:

Onboarding Completion | Retention at Month 6
0/3 steps            | 15%
1/3 steps            | 32%
2/3 steps            | 58%
3/3 steps            | 82%

Это была почти идеальная корреляция! Каждый шаг onboarding увеличивал retention на ~20 пункта.

Итоговые Findings (6 недель анализа)

1. Главная проблема: Плохой Onboarding

   • 46% пользователей не понимали, как использовать продукт
   • Нет видео, нет примеров, нет guided tour

2. Вторичная проблема: Ценообразование

   • 23% ушли, потому что нашли дешевле
   • Но это ушли те, кто не получил value (потому что не научились использовать)

3. Долгосрочная проблема: Engagement на месяц 7+

   • Даже те, кто прошёл onboarding, начинают уходить на месяц 7
   • Нужны новые features или более глубокая engagement

Рекомендации

Я написал 30-страничный отчёт с рекомендациями:

Приоритет 1 (Quick Win)

• Создать 3 видео (5 мин каждое): intro, основной workflow, advanced features
• Добавить template project с готовыми примерами
• Прошлось это улучшило бы retention с 75% на 85% (гипотеза на основе данных)

Приоритет 2 (Medium-term)

• Guided tour в приложении (инструктировать на каждом шаге)
• Живый onboarding call (как конкурент C)
• Документация redo

Приоритет 3 (Long-term)

• Нужны новые features для engagement на месяц 7+
• Может быть, интеграции с популярными tools
• Может быть, community features

Результаты Внедрения

Компания внедрила приоритет 1 за 6 недель. Результаты (через 3 месяца):

До улучшений:     Месячный Churn = 8%,  Retention at Month 6 = 45%
После улучшений:  Месячный Churn = 5%,  Retention at Month 6 = 62%

Финансовый Impact:

• Улучшение retention на 17 пункта = +$150K дополнительного ARR
• Стоимость внедрения = ~$30K (видео, dokumentation, guided tour)
• ROI = 400% в первый год

Почему Это Было Лучшим Исследованием

1. Комбинация Методик:

   • Кохортный анализ
   • Поведенческий анализ
   • Качественные интервью
   • Анализ конкурентов
   • Статистическая корреляция

2. Нашёл Контринтуитивный Инсайт:

   • Все думали, что проблема в ценообразовании или качестве
   • На самом деле, люди просто не знали, как использовать продукт

3. Привёл к Реальному Impact:

   • Не просто отчёт, который лежит на полке
   • Компания действительно внедрила рекомендации
   • Увеличилась выручка

4. Научил Всю Компанию:

   • Провёл презентацию всем командам
   • Показал методику анализа
   • Теперь team лучше понимает пользователей

Урок

Лучшие insights приходят не от одного графика или таблицы. Они приходят от глубокого копания, комбинирования разных источников данных, и слушания пользователей. Часто то, что говорят люди в интервью, противоречит тому, что показывают числа. Нужно разобраться, почему.

Это исследование научило меня, что Product Analyst — не просто человек, который пишет SQL запросы. Это детектив, который ищет правду о поведении пользователей.