Приведи пример прокси метрики

Question

claude-haiku-4.5 · Accepted Answer

## Прокси метрики: практические примеры и когда их использовать

**Прокси метрика** — это величина, которая **не является целевой**, но тесно коррелирует с ней и служит её заменой для быстрой оценки эффекта.

### Почему нужны прокси метрики?

**Проблема:** Нельзя сразу измерить целевую метрику
- Слишком долгое время ожидания (месяцы/годы)
- Недостаточно данных или сложно считать
- Высокие затраты на измерение
- Редкие события

**Решение:** Использовать промежуточную метрику, которая меняется раньше и с ней коррелирует.

### Пример 1: E-commerce (покупки на Amazon)

**Целевая метрика:** Lifetime Value (LTV) — общие расходы клиента за всё время

**Проблема:** Нужно ждать годы, чтобы измерить LTV

**Прокси метрики:**

```
1. Первый заказ в течение 7 дней (быстрый сигнал активности)
2. Повторный заказ в течение 30 дней (признак лояльности)
3. Средний чек первого заказа (корр. с будущими покупками)
4. Время до первого повторного заказа (лучше → выше LTV)
5. Количество просмотренных товаров (engagement)
```

**Практический пример:**

```python
import pandas as pd
from scipy.stats import pearsonr

# Данные 1000 пользователей за 2 года
df = pd.DataFrame({
    'user_id': range(1000),
    'first_order_value': [...],
    'repeat_order_30d': [0, 1, 0, 1, ...],
    'ltv_after_2y': [...]
})

# Проверка корреляции между первым заказом и LTV
corr, pval = pearsonr(df['first_order_value'], df['ltv_after_2y'])
print(f'Корреляция: {corr:.3f}')  # ~0.78 — сильная
print(f'P-value: {pval}')  # < 0.001 — значимо
```

**Результат:** Первый заказ ≥ $50 коррелирует с LTV ≥ $500 с корр. 0.78

**Как использовать:**
- A/B тест нового интерфейса
- Смотрим на первый заказ в течение 7 дней (быстро)
- Если растёт → ожидаем роста LTV через 1-2 года

### Пример 2: Мобильное приложение (User Retention)

**Целевая метрика:** 12-месячное удержание (DAU через год)

**Проблема:** Ждать 12 месяцев для тестирования нового дизайна

**Прокси метрики:**

```
1. Day 1 retention (открыли на второй день) — 0.3 корр. с 12M
2. Day 7 retention (active на 7й день) — 0.65 корр. с 12M
3. Day 30 retention (active на 30й день) — 0.88 корр. с 12M ✓
4. Сессии в неделю (engagement)
5. Функции использованные в первую неделю
```

**Выбор лучшей прокси:**

```python
import matplotlib.pyplot as plt

# День удержания vs 12M retention для 10000 когорт
cohorts = pd.read_csv('cohorts.csv')

metrics = ['d1_retention', 'd7_retention', 'd30_retention', 'features_used']

for metric in metrics:
    corr, pval = pearsonr(cohorts[metric], cohorts['retention_12m'])
    print(f'{metric}: {corr:.2f}')

# Результат:
# d1_retention: 0.28
# d7_retention: 0.65
# d30_retention: 0.88 ← Лучшая прокси!
# features_used: 0.72
```

**Вывод:** Day 30 retention — лучшая прокси метрика
- Коррелирует на 0.88 с целевой
- Можно измерить за месяц вместо 12
- 12x ускорение экспериментов

### Пример 3: Социальная сеть (Facebook/Instagram)

**Целевая метрика:** Monthly Active Users (MAU) через 6 месяцев

**Прокси метрики:**

```
1. Комментарии в первую неделю (гл. сигнал вовлечения)
2. Количество друзей/подписчиков через 2 недели
3. Сообщения отправленные (общение = лояльность)
4. Лайки контента от других (социальное усиление)
5. Время в приложении на сессию
```

**Пример тестирования:**

```python
# Тест: новая рекомендационная система
control = df[df['test_group'] == 'control']
treatment = df[df['test_group'] == 'treatment']

# Прокси: комментарии в неделю
comments_control = control.groupby('user_id')['comments_week1'].sum()
comments_treatment = treatment.groupby('user_id')['comments_week1'].sum()

from scipy.stats import ttest_ind
stat, pval = ttest_ind(comments_treatment, comments_control)
print(f'Прокси метрика улучшена: {pval < 0.05}')  # True

# Предполагаем: если комментарии +15% в неделю,
# то MAU вырастет на ~8-10% в 6 месяцев (из исторических данных)
```

### Пример 4: Email маркетинг

**Целевая метрика:** Доход от email кампании через 30 дней

**Проблема:** Долго считать полный цикл

**Прокси метрики:**

```
1. Click-through rate (CTR) в первые 24 часа → 0.82 корр. с доходом
2. Открытия (Open Rate) → 0.65 корр.
3. Конверсия в течение 3 дней → 0.91 корр. ✓
4. Добавление в корзину (для e-comm) → 0.78 корр.
5. Время до первого клика (раньше = лучше)
```

**Практический расчёт:**

```python
# Email кампания 100k получателей
email_results = pd.DataFrame({
    'user_id': range(100000),
    'opened': [1, 0, 1, 1, 0, ...],
    'clicked': [1, 0, 0, 1, 0, ...],
    'converted_3d': [1, 0, 0, 1, 0, ...],
    'revenue_30d': [120, 0, 0, 250, 0, ...]
})

# Корреляции
for metric in ['opened', 'clicked', 'converted_3d']:
    corr = email_results[metric].corr(email_results['revenue_30d'])
    print(f'{metric}: {corr:.2f}')

# Результат:
# opened: 0.65
# clicked: 0.78
# converted_3d: 0.91 ← Используем это!

# Можем тестировать новый заголовок письма,
# смотреть на конверсию за 3 дня вместо 30
```

### Пример 5: Видеосервис (Netflix/YouTube)

**Целевая метрика:** Churn rate (отток подписчиков) через 3 месяца

**Прокси метрики:**

```
1. Часов просмотра в неделю (сильнейшая прокси)
2. Дней между сессиями (short → low churn)
3. Рейтинг контента (пользователи ищут качество)
4. Завершённость сериала (если бросили серию 1 → риск)
5. Взаимодействие: рейтинги, сохранения
```

### Когда НЕ использовать прокси метрики

**Опасная ситуация:** Прокси метрика растёт, целевая падает

```python
# Антипример: Facebook Likes vs. Долгосрочный engagement
# Можно показать контент, который даёт много лайков,
# но раздражает пользователей (они уходят через месяц)

# Решение: ВСЕГДА проверить корреляцию прокси с целевой!
```

### Чеклист выбора прокси метрики

✅ Используй прокси, если:
1. Целевая метрика измеряется слишком долго
2. Прокси коррелирует с целевой (r > 0.7-0.8)
3. Есть исторические данные для валидации
4. Прокси нельзя манипулировать (например, лайки легче, чем реальный engagement)

❌ Не используй прокси, если:
1. Нет корреляции (r < 0.5)
2. Можно поиграть метрикой без реального эффекта
3. Целевая метрика уже быстрая (< 1-2 недели)
4. Есть опасность Simpson's Paradox (противоположные тренды в подгруппах)

### Вывод

Прокси метрики — **критический инструмент** для быстрого тестирования гипотез. Ключ успеха:
- Валидировать корреляцию с целевой (минимум 0.7-0.8)
- Использовать когда целевая считается долго (месяцы+)
- Комбинировать с долгосрочными метриками для проверки
- Остерегаться манипуляции метриками без реального эффекта

Приведи пример прокси метрики

Комментарии (1)

Прокси метрики: практические примеры и когда их использовать

Почему нужны прокси метрики?

Пример 1: E-commerce (покупки на Amazon)

Пример 2: Мобильное приложение (User Retention)

Пример 3: Социальная сеть (Facebook/Instagram)

Пример 4: Email маркетинг

Пример 5: Видеосервис (Netflix/YouTube)

Когда НЕ использовать прокси метрики

Чеклист выбора прокси метрики

Вывод