Как считаешь изменение конверсии?

Расчет изменения конверсии: методология

Измерение конверсии — одна из самых критичных задач в работе Product Manager'а. Расскажу о методах расчета, ошибках и практических примерах.

1. Базовая формула конверсии

Конверсия = (Количество целевых действий / Общее количество пользователей) × 100%

Примеры целевых действий:

• Клики на кнопку "Купить"
• Завершенная регистрация
• Добавление товара в корзину
• Активация премиум подписки
• Повторный визит в течение 7 дней (для retention)

Пример:

• 10,000 пользователей посетили страницу
• 500 из них завершили покупку
• Конверсия = (500 / 10,000) × 100% = 5%

2. Типы конверсий в зависимости от funnel'а

Макро-конверсия (macro conversion) Главное действие, которое приносит ценность

• Покупка товара (e-commerce)
• Подписка на премиум (SaaS)
• Заполнение формы заявки (B2B)
• Регистрация аккаунта (социальная сеть)

Обычно низкая (1-5%), но очень ценная.

Микро-конверсия (micro conversion) Промежуточные действия, которые приводят к макро-конверсии

• Клик на "Добавить в корзину"
• Начало заполнения формы
• Просмотр pricing page
• Клик на "Узнать больше"

Обычно высокая (20-50%), показывает engagement.

Пример funnel'а для SaaS:

10,000 visitors (посетители)
  ↓
3,000 viewed pricing (micro: 30% → click funnel)
  ↓
1,500 started signup (micro: 50% → form engagement)
  ↓
750 completed signup (macro: 7.5% → registration)
  ↓
150 upgraded to paid (macro: 20% → monetization conversion)

3. Расчет изменения конверсии

Сценарий: Мы запустили новый дизайн страницы и хотим понять, лучше или хуже?

Метод 1: Абсолютное изменение (Absolute Change)

Просто вычитаем старое из нового.

Примеры:

• Была: 5% → Стала: 6%
• Абсолютное изменение: 6% - 5% = +1 percentage point

⚠️ Это часто неправильно интерпретируется! "+1 percentage point" != "+1%"

Метод 2: Относительное изменение (Relative Change) — правильное!

Относительное изменение = ((Новое - Старое) / Старое) × 100%

Тот же пример:

• Была: 5% → Стала: 6%
• Относительное изменение: ((6 - 5) / 5) × 100% = +20%

Это означает: конверсия выросла на 20% относительно предыдущего значения (не на 20 percentage points).

Пример с конкретными числами:

До изменения:

• 10,000 посетителей
• 500 конверсий (5%)
• Доход: $10,000 (средний чек $20)

После изменения:

• 10,000 посетителей
• 600 конверсий (6%)
• Доход: $12,000 (средний чек $20)

Расчет:

• Абсолютное изменение: +1 percentage point
• Относительное изменение: ((6 - 5) / 5) × 100% = +20%
• Дополнительные конверсии: 100 (600 - 500)
• Дополнительный доход: $2,000 (за тот же период)

4. Статистическая значимость (Critical!)

Очень важный момент: не все изменения имеют значение. Нужна статистика.

Проблема: При 500 конверсиях вариация ±20-30 конверсий (±4-6%) — нормально. Если конверсия выросла на 20, это может быть просто случайность.

Решение: Статистический тест

Для A/B теста использую Chi-Square test или Binomial test:

Пример A/B теста:

Контрольная группа (старый дизайн):

• 5,000 посетителей
• 250 конверсий (5%)

Тестовая группа (новый дизайн):

• 5,000 посетителей
• 300 конверсий (6%)

Мой расчет:

z-score = (p2 - p1) / sqrt(p * (1-p) * (1/n1 + 1/n2))

где:
p = (250 + 300) / (5000 + 5000) = 0.055
p1 = 0.05
p2 = 0.06
n1 = n2 = 5000

z = (0.06 - 0.05) / sqrt(0.055 * 0.945 * (1/5000 + 1/5000))
z ≈ 1.53

Для z = 1.53, p-value ≈ 0.126 (12.6%) Это означает: есть 12.6% вероятность, что улучшение случайное.

Интерпретация:

• p-value < 0.05 (5%) → результат статистически значим
• p-value > 0.05 → нельзя быть уверенным, результат не значим

В нашем примере p-value = 0.126 > 0.05, поэтому мы не можем с уверенностью сказать, что новый дизайн лучше. Нужно больше данных.

5. Практические методы отслеживания

В аналитических инструментах (Amplitude, Mixpanel):

1. Определяю funnel:

Step 1: Landing page viewed
Step 2: CTA button clicked
Step 3: Form started
Step 4: Form completed
Step 5: Payment processed

1. Смотрю падение по каждому шагу:

Step 1: 10,000 (100%)
Step 2: 5,000 (50%)
Step 3: 2,500 (50% от предыдущего)
Step 4: 2,000 (80%)
Step 5: 500 (25%)

1. Вижу, где люди выпадают: В Step 5 только 25% проходит → проблема с payment!

Создаю custom events в коде:

// При просмотре pricing page
logEvent('pricing_page_viewed', { user_id: 123 })

// При клике на upgrade
logEvent('upgrade_clicked', { plan: 'pro' })

// При успешной покупке
logEvent('subscription_purchased', { plan: 'pro', amount: 99 })

Потом в Amplitude считаю конверсию между этими events.

6. Сегментация: конверсия по разным группам

Общая конверсия часто скрывает интересные паттерны.

Пример: Общая конверсия 5%, но:

• Новые пользователи: 2%
• Вернувшиеся пользователи: 8%
• Мобильные: 3%
• Десктоп: 7%
• Из Google Ads: 4%
• Из Facebook Ads: 6%
• Из organic: 9%

Вывод: Нужно оптимизировать мобильную версию (только 3%) и Google Ads трафик (только 4%).

Вычисляю конверсию для каждого сегмента:

Конверсия по устройствам:

Мобильная конверсия = 300 / 10,000 = 3%
Десктоп конверсия = 700 / 10,000 = 7%

Абсолютное изменение: 7% - 3% = 4 percentage points Относительное изменение: ((7 - 3) / 3) × 100% = 133% (десктоп в 2.3 раза лучше)

7. Бизнес-метрики vs конверсия

Конверсия — это не всё. Важно смотреть на финансовый impact.

Пример:

• Конверсия выросла на 20% (5% → 6%)
• Но средний чек упал на 30% ($20 → $14)
• LTV упал на 15% (из-за более требовательных клиентов)

Финансовый итог:

Рост конверсии: +20%
Падение чека: -30%
Общий финансовый impact: 1.2 × 0.7 = 0.84 (-16% к выручке)

Это означает, что рост конверсии — плохой ход! Нужно пересмотреть стратегию.

8. Common mistakes (частые ошибки)

❌ Ошибка 1: Путание абсолютного и относительного изменения "Конверсия выросла на 1%" vs "Конверсия выросла на 1 percentage point" — это разные вещи!

❌ Ошибка 2: Игнорирование статистической значимости А/B тест с 100 конверсиями в контрольной группе — слишком мало, вариация будет большой.

❌ Ошибка 3: Слишком короткий тест А/B тест за 1 день может не учесть дневную вариацию, разные дни недели имеют разные конверсии.

❌ Ошибка 4: Смотреть только на конверсию Нужно смотреть на LTV, AOV (average order value), удержание, не только на конверсию.

❌ Ошибка 5: Забыть про сезонность и внешние факторы Конверсия перед Рождеством выше, но это не значит, что измениниение — ваша фичатура.

9. Мой toolkit для расчета конверсии

1. Google Sheets: Создаю шаблон с формулами

=B2 / A2 * 100 (конверсия %)
=((C2 - B2) / B2) * 100 (относительное изменение %)

2. Python для статистики:

from scipy.stats import chi2_contingency

# Contingency table
table = [
    [250, 4750],  # control: converted, not converted
    [300, 4700]   # test: converted, not converted
]

chi2, p_value, dof, expected = chi2_contingency(table)
print(f"p-value: {p_value}")

3. Airtable для отслеживания A/B тестов

• Дата старта
• Контрольная конверсия %
• Тестовая конверсия %
• p-value
• Статус (running, completed, winner)

Заключение

Измерение конверсии — это не просто вычисление процента, а комплексный процесс, включающий статистику, сегментацию и финансовый анализ. Главное:

1. Понимать разницу между абсолютным и относительным изменением
2. Всегда проверять статистическую значимость
3. Смотреть на бизнес-метрики, не только конверсию
4. Сегментировать данные, чтобы найти проблемные области
5. Достаточно времени и объема выборки для надежных выводов