Какие задачи выполнял на последней работе?

Задачи и результаты на последней работе

На последней позиции Product Analyst я работал в быстрорастущем SaaS-компании (B2B2C marketplace) с 50+ миллионами пользователей. Мой фокус был на monetization, retention и оптимизацию пользовательского поведения. Расскажу о ключевых проектах и достигнутых результатах.

Проект 1: Оптимизация конверсии в платёжах (Monetization)

Контекст задачи: Компания заметила, что платёжный funnel имеет низкую конверсию на шаге выбора способа оплаты: только 62% пользователей, начавших оплату, завершали покупку. Это стоило компании ~$2M в месяц потерянного revenue.

Как я решал:

-- Шаг 1: Анализ воронки платежей
SELECT
  step,
  COUNT(DISTINCT user_id) as users,
  LAG(COUNT(DISTINCT user_id)) OVER (ORDER BY step_order) as prev_users,
  ROUND(100.0 * COUNT(DISTINCT user_id) / LAG(COUNT(DISTINCT user_id)) OVER (ORDER BY step_order), 1) as conversion
FROM payment_funnel
WHERE created_at >= CURRENT_DATE - INTERVAL '30 days'
GROUP BY step, step_order
ORDER BY step_order;

-- Шаг 2: Сегментация по методу оплаты
SELECT
  payment_method,
  COUNT(*) as attempts,
  COUNT(CASE WHEN status = 'completed' THEN 1 END) as completed,
  ROUND(100.0 * COUNT(CASE WHEN status = 'completed' THEN 1 END) / COUNT(*), 1) as completion_rate,
  COUNT(CASE WHEN declined_reason = 'insufficient_funds' THEN 1 END) as declined_insufficient,
  COUNT(CASE WHEN declined_reason = 'card_expired' THEN 1 END) as declined_expired
FROM payments
WHERE created_at >= CURRENT_DATE - INTERVAL '90 days'
GROUP BY payment_method
ORDER BY completion_rate;

Гипотезы:

1. Слишком много способов оплаты → пользователь теряется и отходит
2. UX платежной формы неудобен (много кликов, неочевидный flow)
3. Проблемы с конвертацией карт (регионально-специфичные)
4. Причины отказа (declined, fraud detection) не объясняются пользователю

Решение:

• A/B тест: показывать только 3 основных способа оплаты (вместо 8) на первом экране. Остальные за кнопкой "другие методы"
• Улучшил UX: 1-page checkout вместо 3 шагов ( 40% сокращение bounce)
• Добавил повторную попытку при отказе (retry logic) — пользователю предлагается другой способ
• Улучшил сообщения об ошибках (вместо "платёж отклонен" → "карта истекла, обновите данные")

Результаты:

• Конверсия в платежах выросла с 62% до 78% (+25.8%)
• Revenue увеличился на $2.5M в месяц
• Значимость результата: p-value = 0.001 (highly significant)
• Работало во всех регионах и для всех segments

Проект 2: Churn Analysis и Retention Loop

Контекст задачи: У компании была D30 retention = 28%, что была ниже industry standard (35-40% для B2C marketplace). Нужно было понять, почему пользователи уходят и как их удержать.

Как я решал:

# Cohort анализ по retention
from datetime import datetime, timedelta
import pandas as pd

def analyze_churn_patterns():
    """Анализ паттернов ухода пользователей"""
    
    # Шаг 1: Сегментация по поведению
    query = """
    WITH user_segments AS (
      SELECT
        user_id,
        DATE(created_at) as cohort,
        CASE
          WHEN total_purchases >= 5 THEN 'Heavy Users'
          WHEN total_purchases >= 1 THEN 'Regular Users'
          ELSE 'One-Time Users'
        END as segment,
        AVG(days_between_purchases) as avg_purchase_frequency,
        SUM(total_spent) as ltv,
        CASE WHEN last_activity < NOW() - INTERVAL '30 days' THEN 'Churned' ELSE 'Active' END as status
      FROM users
      WHERE created_at >= '2024-01-01'
      GROUP BY user_id, DATE(created_at)
    )
    SELECT
      segment,
      status,
      COUNT(*) as users,
      ROUND(AVG(ltv)::numeric, 2) as avg_ltv,
      ROUND(AVG(avg_purchase_frequency)::numeric, 1) as avg_days_between_purchases
    FROM user_segments
    GROUP BY segment, status;
    """
    
    return pd.read_sql(query, connection)

# Шаг 2: Найти тригеры ухода
def identify_churn_triggers():
    """
    Какие события предшествуют уходу пользователя?
    """
    query = """
    WITH churned_users AS (
      SELECT user_id, last_activity_date
      FROM users
      WHERE last_activity_date < NOW() - INTERVAL '30 days'
        AND created_at < NOW() - INTERVAL '90 days'
    ),
    events_before_churn AS (
      SELECT
        cu.user_id,
        e.event_type,
        DATEDIFF(day, e.created_at, cu.last_activity_date) as days_before_churn,
        COUNT(*) as event_count
      FROM churned_users cu
      JOIN events e ON cu.user_id = e.user_id
      WHERE e.created_at <= cu.last_activity_date
      GROUP BY cu.user_id, e.event_type, DATEDIFF(day, e.created_at, cu.last_activity_date)
    )
    SELECT
      event_type,
      AVG(days_before_churn) as avg_days_before_churn,
      COUNT(DISTINCT user_id) as users_with_event
    FROM events_before_churn
    WHERE days_before_churn <= 30
    GROUP BY event_type
    ORDER BY COUNT(DISTINCT user_id) DESC;
    """
    
    return pd.read_sql(query, connection)

Гипотезы после анализа:

1. Negative experience trigger — пользователи уходят после плохого опыта (refund, fraud detection, долгая доставка)
2. Seasonal pattern — пользователи приходят покупать в определённый сезон, потом уходят
3. Lack of engagement — нет никаких notificatons после первой покупки
4. Forgotten about app — приложение просто забывают

Решение (Retention Loops):

• Email reminder → если 7 дней без активности, отправляем "Привет! Вот что нового"
• Push notification → персонализированные рекомендации (на основе purchase history)
• Incentive campaign → скидка 15% на повторную покупку для users дневс 14-30 days ago
• Feedback loop → при отказе покупки или возврате → собираем feedback, улучшаем product
• VIP retention → top 10% пользователей (по LTV) получают персональный account manager

Результаты:

• D7 retention: 35% → 42% (+20%)
• D30 retention: 28% → 36% (+28.6%)
• D90 retention: 18% → 24% (+33%)
• Email campaigns ROI: 4.2x (затраты $500K, доход $2.1M)
• Push notifications opened rate: 22% (отличный результат)
• Лучше всех работал incentive campaign для one-time users: 8% вернулись при скидке

Проект 3: Growth Attribution и Marketing Mix Optimization

Контекст задачи: Маркетинг потратил $5M на разные каналы, но было непонятно, какой ROI у каждого. Нужна была достоверная атрибюция и оптимизация бюджета.

Как я решал:

-- Multi-touch attribution (last-click model)
WITH user_journeys AS (
  SELECT
    user_id,
    ARRAY_AGG(DISTINCT source ORDER BY created_at) as touchpoints,
    source as last_touch,
    DATE(created_at) as conversion_date
  FROM user_acquisition
  WHERE created_at >= '2024-01-01'
  GROUP BY user_id
)
SELECT
  last_touch,
  COUNT(DISTINCT user_id) as attributed_users,
  COUNT(DISTINCT CASE WHEN has_purchase = true THEN user_id END) as paying_users,
  ROUND(100.0 * COUNT(DISTINCT CASE WHEN has_purchase = true THEN user_id END) / COUNT(DISTINCT user_id), 2) as conversion_rate,
  SUM(revenue) as attributed_revenue,
  SUM(marketing_spend) as channel_spend,
  ROUND((SUM(revenue) - SUM(marketing_spend)) / SUM(marketing_spend), 2) as roi
FROM user_journeys
JOIN users u ON user_journeys.user_id = u.id
GROUP BY last_touch
ORDER BY attributed_revenue DESC;

Находки:

• Organic привносит 40% пользователей (низкий CAC = $0)
• Paid Search — лучший ROI: 6.5x (высокий intent)
• Social Media — средний ROI: 1.8x (много impression, низкая конверсия)
• Display Ads — худший ROI: 0.3x (broad targeting, низкое качество)

Решение:

• Перераспределил бюджет: 30% → Paid Search, 25% → Organic (SEO/ASO), 25% → Referral программа, 20% → Retargeting
• Приостановил Display Ads (отрицательный ROI)
• Запустил Referral программа ($10 за приглашение) — это вышло дешевле самого cheap paid channel

Результаты:

• CAC упал с $45 до $32 (-28%)
• LTV:CAC ratio улучшился с 2.2:1 до 3.1:1
• Total revenue при том же маркетинг-бюджете выросла на 35%
• User quality улучшилась (более engaged users с Paid Search)

Проект 4: A/B Testing Framework

Контекст задачи: Проекты часто ломались, потому что не было правильной статистической основы для decisions. Нужен был фреймворк для быстрых и правильных A/B тестов.

Решение:

class ABTestFramework:
    """
    Статистически правильный фреймворк для A/B тестирования
    """
    
    def calculate_sample_size(self, baseline_rate, min_effect_size, power=0.8, alpha=0.05):
        """
        Сколько пользователей нужно, чтобы обнаружить эффект?
        """
        import math
        # Формула: n = 2 * (Z_alpha + Z_beta)^2 * p * (1-p) / (effect_size)^2
        z_alpha = 1.96  # 95% confidence
        z_beta = 0.84   # 80% power
        p = baseline_rate
        delta = baseline_rate * min_effect_size
        
        n = 2 * (z_alpha + z_beta)**2 * p * (1-p) / (delta**2)
        return int(math.ceil(n))
    
    def run_test(self, control_data, variant_data, metric):
        """
        Запустить тест и получить результаты с confidence intervals
        """
        from scipy import stats
        
        control_conversions = len([x for x in control_data if x[metric] > 0])
        control_total = len(control_data)
        variant_conversions = len([x for x in variant_data if x[metric] > 0])
        variant_total = len(variant_data)
        
        # Chi-square test
        contingency_table = [
            [control_conversions, control_total - control_conversions],
            [variant_conversions, variant_total - variant_conversions]
        ]
        chi2, p_value, dof, expected = stats.chi2_contingency(contingency_table)
        
        control_rate = control_conversions / control_total
        variant_rate = variant_conversions / variant_total
        lift = (variant_rate - control_rate) / control_rate * 100
        
        return {
            'control_rate': control_rate,
            'variant_rate': variant_rate,
            'lift_percent': lift,
            'p_value': p_value,
            'statistically_significant': p_value < 0.05,
            'winner': 'Variant' if lift > 0 and p_value < 0.05 else 'Control' if lift < 0 and p_value < 0.05 else 'Inconclusive'
        }

# Пример использования
test = ABTestFramework()

# 1. Рассчитать нужный размер выборки
# Baseline: 20% конверсия платежей
# Хотим обнаружить: 5% improvement (т.е. 21% конверсия)
sample_size = test.calculate_sample_size(baseline_rate=0.20, min_effect_size=0.05)
print(f"Нужно {sample_size} пользователей в каждой группе")

# 2. Запустить тест
results = test.run_test(control_data, variant_data, 'completed_payment')
print(f"Variant lift: {results['lift_percent']:.1f}%")
print(f"Statistically significant: {results['statistically_significant']}")
print(f"Winner: {results['winner']}")

Результаты от фреймворка:

• За год провели 150+ тестов
• Помогли team делать data-driven decisions
• Кумулятивный эффект: revenue выросла на 22% (за счёт small wins)

Проект 5: Dashboarding и Reporting Automation

Контекст: Отчёты делались вручную, занимали 20+ часов в неделю. Нужна была автоматизация.

Решение:

• Tableau dashboards для exec team (KPI, cohort analysis, revenue trends)
• Automated Daily email reports (DAU, revenue, top issues)
• Slack alerts при аномалиях (падение DAU на 20%, spike in churn)
• Data dictionary + documentation

Результаты:

• Сэкономлено 15+ часов в неделю на reporting
• Faster decision-making (real-time data вместо weekly reports)
• Меньше ошибок в отчётах (автоматизировано, не вручную)

Резюме результатов

Весь мой опыт сводится к одному: используй данные, не интуицию. Тестируй, не гадай. Выполняй, не обещай.