Приведи пример проведенного исследования

Пример проведённого исследования: Анализ причин churn в мобильном приложении

Это исследование я проводил когда работал в e-commerce компании, и оно заняло 4 недели. Это был комплексный анализ, который включал разные методологии и дал важные insights для product strategy.

Контекст и проблема

Наше мобильное приложение имело 25% monthly churn (т.е., 25% пользователей не возвращались). Компания знала, что это плохо, но не знала почему.

Product team выдвигали разные гипотезы:

• "Может быть, приложение медленное?"
• "Может быть, нет персонализированных рекомендаций?"
• "Может быть, цены слишком высокие?"

Ко мне пришли с просьбой "Разберись, почему люди уходят".

Исследовательский процесс

Этап 1: Определение churn и его сегментация (неделя 1)

Сначала я определил что такое "churn" в контексте мобильного приложения:

• Активный churn: User открывал приложение, но не вернулся в течение 30 дней
• Пассивный churn: User не открывал приложение вообще

Второй - это просто low engagement, первый - это "someone who tried and left".

Я посмотрел на данные и разделил churners на сегменты:

SELECT
  CASE
    WHEN app_sessions >= 10 THEN 'Power users'
    WHEN app_sessions >= 3 THEN 'Regular users'
    WHEN app_sessions = 1 THEN 'One-time users'
    ELSE 'Never opened'
  END as user_segment,
  COUNT(*) as users,
  COUNT(*) / SUM(COUNT(*)) OVER () * 100 as percent_of_churn,
  AVG(days_until_churn) as avg_days,
  APPROX_PERCENTILE(session_duration_sec, 0.5) as median_session_length
FROM mobile_app_users
WHERE churned = true
GROUP BY 1;

Ключевый инсайт: 60% churned users были "one-time users" (открыли приложение 1 раз и не вернулись в течение 3 дней). Остальные 40% были более engaged пользователи, которые потом внезапно уехали.

Это означало две разные проблемы!

Этап 2: Анализ one-time users (неделя 1-2)

Для one-time users я посмотрел на:

• Что они делали в первом сеансе?
• На какой шаг они падали в funnel?

SELECT
  first_session_event_sequence,
  COUNT(*) as users,
  COUNT(DISTINCT user_id) / LAG(COUNT(DISTINCT user_id)) OVER (
    ORDER BY first_session_event_sequence
  ) * 100 as drop_off_rate
FROM (
  SELECT
    user_id,
    ARRAY_AGG(event_name ORDER BY event_time) as first_session_event_sequence
  FROM events
  WHERE session_number = 1
  GROUP BY 1
)
GROUP BY 1
ORDER BY users DESC;

Ключевая находка: 45% one-time users закрывали приложение на экране "browse products" и никогда не возвращались. Они заходили, смотрели товары... и уходили.

Это NOT было про speed или bugs. Это было про интерес к контенту.

Я добавил еще один слой анализа:

SELECT
  CASE
    WHEN products_viewed = 0 THEN 'No products viewed'
    WHEN products_viewed < 10 THEN 'Few products (1-9)'
    WHEN products_viewed >= 10 THEN 'Many products (10+)'
  END as exploration_level,
  COUNT(*) as users,
  ROUND(100 * COUNT(*) / SUM(COUNT(*)) OVER (), 2) as pct,
  ROUND(AVG(CASE WHEN ever_returned = true THEN 1 ELSE 0 END) * 100, 2) as return_rate
FROM one_time_users
GROUP BY 1;

Результат:

• Если user посмотрел < 10 товаров: return rate = 8%
• Если user посмотрел >= 10 товаров: return rate = 35%

Проблема была не в качестве товаров. Проблема была в том, что пользователи не исследовали достаточно товаров.

Этап 2: Анализ regular users (неделя 2)

Для пользователей, которые были engaged (3-10 сеансов), а потом вдруг ушли, я посмотрел на:

• Какой был их последний сеанс перед churn?
• Были ли они в стадии покупки?
• Что произошло?

SELECT
  last_session_event,
  COUNT(*) as users,
  ROUND(100 * COUNT(*) / SUM(COUNT(*)) OVER (), 2) as pct,
  ROUND(AVG(session_duration_sec), 0) as avg_session_length_sec,
  ROUND(AVG(days_since_previous_session), 1) as avg_gap_days
FROM regular_churned_users
GROUP BY 1
ORDER BY users DESC;

Ключевая находка: 40% regular churned users имели как последний event "View cart". Они добавили товары в корзину и... не вернулись.

Это был очень специфический drop-off point. Это могло быть:

• Payment friction
• Забыли о корзине
• Нашли лучшую цену где-то ещё

Я провел дополнительный анализ:

SELECT
  days_in_cart,
  COUNT(*) as users,
  ROUND(100 * COUNT(CASE WHEN completed_purchase = true THEN 1 END) / COUNT(*), 2) as conversion_rate,
  ROUND(AVG(cart_value), 2) as avg_cart_value
FROM abandoned_carts
GROUP BY 1
ORDER BY days_in_cart;

Оказалось, что:

• Если товар в корзине < 1 дня: conversion = 30%
• Если товар в корзине 1-7 дней: conversion = 8%
• Если товар в корзине > 7 дней: conversion = 2%

Пользователи забывали о корзине! Это был не payment friction, это была просто забывчивость.

Этап 3: Качественный анализ (опционально, но я сделал)

Я попросил customer support команду:

• Дай мне чат-логи с пользователями, которые ушли
• Какие вопросы они задавали?

Мое подозрение:

• One-time users: просто не нашли что ищут
• Regular users: payment issues, или забыли о покупке

Результаты подтвердили мой анализ:

• One-time users часто писали: "I can't find what I'm looking for" или просто не писали вообще (они просто ушли)
• Regular users часто писали: "How do I pay?" (payment friction) или ничего не писали (просто забыли)

Итоги исследования

Результаты исследования были:

Проблема 1: One-time users (60% churn)

• Причина: Не находят товары которые ищут, или плохой discovery
• Метрика: Только 8% return если explored < 10 товаров
• Решение: Улучшить search, категоризацию, recommendations

Проблема 2: Regular users (40% churn)

• 50% из них: abandoned carts (забыли о покупке)
  • Метрика: 2% conversion если товар в корзине > 7 дней
  • Решение: Push notifications о cart items
• 50% из них: Payment friction (проблемы с оплатой)
  • Метрика: 40% users who attempted payment didn't complete
  • Решение: Simplify checkout, add multiple payment methods

Рекомендации

На основе исследования я рекомендовал:

Для one-time users:

1. Улучшить search (добавить спелл-чек, синонимы)
2. Добавить "Popular" и "Trending" категории
3. Добавить персонализированные recommendations на шаге browse
4. A/B тест: notifications день 2 и день 3 для re-engagement

Для regular users:

1. Добавить push notification через 1 день если в корзине есть товары
2. Упростить checkout (убрать лишние шаги)
3. Добавить Apple Pay / Google Pay (payment friction)
4. A/B тест: incentive ("10% off if you complete your purchase today")

Результаты внедрения

My recommendations были приняты. Результаты через 2 месяца:

• Monthly churn упал с 25% на 19% (↓24% improvement)
• One-time user return rate: 8% → 18% (↑125%)
• Cart abandonment: 95% → 85% (↑10pp completion rate)

Это была не одна фича, это была комбинация инсайтов, которые дали большой эффект.

Почему я горжусь этим исследованием

1. Структурированный подход: Я не просто смотрел на churn в целом. Я разделил на сегменты, выявил разные root causes для разных групп.

2. Многослойный анализ: Я использовал quantitative (SQL queries, funnel анализ) + качественный (customer support chats) анализ.

3. Actionable insights: Мои рекомендации были concrete и specific. Не "улучшите discovery", а "добавьте Popular category" и "улучшьте search спеллинг".

4. Размер выборки и статистика: Я не смотрел на 10 пользователей. Я анализировал 50,000+ churned users, что дало мне confidence в выводах.

5. Долгосрочное мышление: Я не просто дал numbers. Я помог product team понять two different problems that require different solutions.

6. ROI доказан: Мое исследование привело к concrete product improvements и measurable business result (24% churn reduction).

Что я расскажу на интервью

"Я провел 4-недельное исследование причин churn в мобильном приложении. Мне нужно было разобраться, почему 25% пользователей не возвращались.

Вместо того, чтобы смотреть на churn как на один metric, я разделил churned users на сегменты по engagement level. Оказалось, что one-time users (60%) и regular users (40%) имели совершенно разные паттерны чёрпания.

Для one-time users я выявил, что только 8% возвращались если они просмотрели <10 товаров. Это означало, что проблема была в discovery, не в product quality.

Для regular users я обнаружил, что 40% имели в корзине товары и просто забыли. Это был abandoned cart problem.

Далее я рекомендовал specific solutions: улучшить search и categories для one-time, добавить notifications для abandoned carts для regular users.

Результат: churn упал на 24% в течение 2 месяцев.

Что мне нравится в этом исследовании — это то, что я не остановился на первом ответе. Я копал глубже, сегментировал, нашел разные root causes и дал разные решения для разных проблем."

Ключевые техники которые я использовал

1. Segmentation: Разделил users по behavior patterns
2. Funnel анализ: Выявил drop-off points
3. Cohort анализ: Посмотрел на patterns в разных groups
4. Time-based анализ: Посмотрел на days_in_cart correlation
5. Qualitative validation: Customer support чат-логи подтвердили гипотезы
6. Размер эффекта: Quantified: 8% vs 35%, 30% vs 2%

Это то, что интервьюеры хотят видеть: не просто аналитику, но research mindset.