Продуктовый кейс: Анализ push-уведомлений

Анализ push-уведомлений: метрики и оптимизация

1. Метрики push-уведомлений

Delivery метрики:

• Delivery rate: % успешно доставленных push (целевой: >95%)
• Bounce rate: % не доставленных (device offline, no permission)
• Send time optimization: % отправленных в оптимальное время

Engagement метрики:

• Open rate: % пользователей, открывших push (5-10% норма)
• Click rate: % кликнувших по ссылке из push (2-5% норма)
• Conversion rate: % совершивших целевое действие (1-3% норма)
• Uninstall rate: % удаливших приложение после push

Качество и безопасность:

• Opt-in rate: % пользователей, разрешивших push (целевой: >70%)
• Opt-out rate: % отписавшихся после push (целевой: <2%)
• Complaint rate: % пожаловавшихся на спам
• Delivery latency: время от отправки до получения (целевой: <30сек)

2. Измерение влияния push на retention

Метод 1: Когортный анализ

• Когорта A: пользователи, получившие push на день 1, 3, 5
• Когорта B: контроль (без push)
• Сравнить: D1, D7, D30 retention
• Ожидаемое улучшение: +5-15% D7

Метод 2: Пропенсити скоринг (если нельзя A/B)

• Как можно более похожие пользователи, получившие и не получившие push
• Изолировать эффект push от других факторов
• Управлять bias: время дня, тип контента, история использования

Метод 3: Incremental Lift Test (самый надежный)

• Случайная выборка пользователей
• Treatment: отправляем push
• Control: не отправляем
• Измеряем только incremental эффект (не cannibalization)
• Формула: (R_treatment - R_control) / R_control

Пример анализа:

Когорта             | D1      | D7      | D30
Без push (control)  | 45%     | 20%     | 10%
С push x1 в день 1  | 48%     | 26%     | 13%
Улучшение           | +3pp    | +6pp    | +3pp
Вывод: push работает на D7

3. Оптимальная частота отправки

Проблема: Too much = высокий opt-out, too little = низкий engagement

Гипотеза по сегментам:

• Power users: 3-5 push в день (привыкли к app)
• Regular users: 1-2 push в день
• Light users: 1 push в 2 дня (не перегружать)
• Inactive (>7 дней): 1 push в неделю (win-back)

A/B тест частоты (2 недели):

• Сегмент: новые пользователи только
• Control: 1 push в день
• Variant A: 3 push в день
• Variant B: 1 push в 2 дня
• Метрика: D7 retention, opt-out rate, lifetime value

Оптимизация по времени:

• Анализировать open rate по часам дня
• Обычно пиковое время: 8-9am, 12-1pm (lunch), 6-7pm
• Использовать timezone пользователя
• Тестировать different times в рамках одного сегмента

Frequency cap:

• Максимум 5 push в день на пользователя
• Минимум 6 часов между push (не спам)
• Уменьшать в выходные дни (-30%)
• Tracking: days_since_last_push

4. A/B тесты push-уведомлений

Тест 1: Момент отправки (time delay)

• Control: immediately (в момент события)
• Variant: +2 часа задержка
• Сегмент: событие = товар добавлен в корзину
• Метрика: open rate, click rate, conversion, retention
• Размер: 50/50, n=2000

Тест 2: Копирайтинг/personalization

• Control: стандартный текст
• Variant A: персонализированный (имя + product name)
• Variant B: с urgency (только 2 часа скидка!)
• Метрика: open rate, click rate
• Размер: 33/33/34, n=3000

Тест 3: Actionable push (CTА)

• Control: нейтральный CTA (Click here)
• Variant A: сильный CTA (Save now!)
• Variant B: question CTA (Interested?)
• Метрика: click rate, conversion rate
• Размер: 33/33/34, n=3000

Тест 4: Частота + Сегментация

• Сегмент: пользователи, неактивные 5+ дней
• Control: 1 push в неделю
• Variant A: 1 push в 3 дня
• Variant B: 1 push в день
• Метрика: D7 retention, reactivation rate, opt-out rate
• Размер: 33/33/34, n=5000, длительность 3 недели

Тест 5: Timing (локальное время vs UTC)

• Control: UTC время одинаково для всех
• Variant: локальное время пользователя
• Метрика: open rate, engagement rate
• Размер: 50/50, n=2000

5. Dashboard мониторинга push

Метрика           | Target  | Alert    | Тип
Delivery rate     | >95%    | <92%     | Guardrail
Open rate         | 8-10%   | <5%      | KPI
Click rate        | 3-5%    | <2%      | KPI
Opt-out rate      | <2%     | >3%      | Guardrail
D7 retention lift | +5%     | <+2%     | KPI
Uninstall rate    | <0.5%   | >1%      | Guardrail

6. Риски и guardrails

• Fatigue: opt-out rate растет - снизить частоту
• Spam complaints: monitor App Store rating
• Uninstalls: если spike после push - проблема в messaging/timing
• Server load: не отправлять миллионы push одновременно (дропить delivery)

Вывод: push - мощный инструмент, но требует тестирования и персонализации.