Что такое self-selection bias и как его учитывать в анализе?

Self-Selection Bias: определение, причины и методы контроля

Self-selection bias — это смещение в результатах исследования, которое возникает, когда субъекты сами выбирают, участвовать ли в исследовании или использовать функцию. Главная проблема: те, кто выбирает участвовать, систематически отличаются от тех, кто не участвует, что приводит к смещённым результатам.

Классические примеры self-selection bias

Пример 1: Опрос о новой функции

Вы запросили feedback о новой функции и получили 500 ответов. Проблема: отвечали либо очень довольные пользователи (8-9 rating), либо очень недовольные (1-2 rating). Среднее rating будет не репрезентативно — большинство молчаливых пользователей просто не берут труд ответить.

Пример 2: Feature flagging без рандомизации

Вы дали доступ к новой функции только тем, кто просил её на форуме сообщества. Пользователи, которые просили, более engaged и готовы платить. Результат: метрика в 2 раза выше, чем была бы при раскатке для всех.

Пример 3: Анализ когорты "Pro" пользователей

Про пользователи заплатили за upgrade добровольно. Они не равномерны относительно всего населения — это более мотивированные, технически опытные, состоятельные пользователи. Любой анализ их поведения будет искажён.

Типы self-selection bias

1. Volunteer bias — добровольцы отличаются от остальных

Попадание в опрос = явное согласие пользователя
Добровольцы обычно:
- Более мотивированы
- Имеют сильное мнение
- Более engaged
- Более образованны (чаще)

2. Healthy user bias — здоровые (активные) пользователи переживают лечение

Большой поток users на премиум фичу означает, что эта фича работает, но причина может быть в том, что только активные пользователи пытаются её использовать.

3. Participation bias — те, кто участвует, отличаются от интенция-тритмента

Если в A/B тесте пользователь видит новый UI и может выбрать "вернуться к старому", те, кто выбирает старый UI, более консервативны и имеют другую базовую конверсию.

Как self-selection bias искажает результаты

Случай 1: Переоценка эффекта

Истинный эффект: +2%
Self-selection bias: +15%

Получили переоцененный результат, раскатили фичу всем,
и результат оказался только +2% вместо ожидаемых +15%

Случай 2: Неправильная целевая аудитория

Фича работает для early adopters (+20%), но для mainstream пользователей даёт -5% (они запутываются в UI). Анализ на добровольцах скрывает проблему.

Случай 3: Экстернальность

Фича A работает через сетевые эффекты. Если её тестируешь на добровольцах (активных пользователях, которые приглашают друзей), видишь +30%. Но для средних пользователей эффект +5%, потому что их друзья не используют фичу.

Методы контроля self-selection bias

Метод 1: Рандомизация (Randomization) — золотой стандарт

Не дайте пользователям выбирать. Случайно назначьте их в контроль или тест.

# Правильно: рандомизируем на уровне user_id
SELECT 
    user_id,
    CASE 
        WHEN CAST(md5(user_id) AS INT) % 100 < 50 THEN 'control'
        ELSE 'treatment'
    END as variant
FROM users
WHERE created_at > '2024-01-01';

# Неправильно: просим пользователя выбрать
# "Хотите попробовать новую функцию?" YES / NO

Когда использовать: Всегда, когда возможно. Это единственный способ избежать смещения.

Метод 2: Инструментальная переменная (Instrumental Variable)

Найдите переменную Z, которая:

• Влияет на выбор пользователя (поддерживает ли он фичу)
• НЕ влияет напрямую на исход (метрику)
• Коррелирует только через выбор фичи

# Пример: Географическое распределение функции как инструмент
# - Функция раскачивается по регионам в случайном порядке (Z)
# - Пользователи в разных регионах имеют разную вероятность использовать функцию
# - Но регион сам по себе не влияет на метрику (контролируем эффекты региона)

# IV оценка: эффект = Cov(Outcome, Z) / Cov(Feature_Use, Z)
from sklearn.linear_model import LinearRegression

# Первый этап: предсказываем использование фичи по инструменту
iv_model = LinearRegression()
iv_model.fit(X=regions, y=feature_usage)
feature_usage_predicted = iv_model.predict(regions)

# Второй этап: регрессируем исход на предсказанное использование
final_model = LinearRegression()
final_model.fit(X=feature_usage_predicted, y=outcome)
treatment_effect = final_model.coef_[0]

Метод 3: Пропенсити скор (Propensity Score Matching)

Оцените вероятность выбора фичи на основе предыдущих характеристик пользователя. Затем сравнивайте пользователей с одинаковым propensity score.

from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import NearestNeighbors

# Шаг 1: Оценить propensity score (P(выбрал фичу | характеристики))
logit = LogisticRegression()
logit.fit(X=user_features, y=feature_adoption)  # 0/1
propensity_scores = logit.predict_proba(user_features)[:, 1]

# Шаг 2: Найти matched пары с одинаковым propensity score
users_adopted = users[adopted == 1]
users_not_adopted = users[adopted == 0]

# Для каждого adopted пользователя найти non-adopted с близким propensity
knn = NearestNeighbors(n_neighbors=1)
knn.fit(propensity_scores[adopted == 0].reshape(-1, 1))
distances, indices = knn.kneighbors(propensity_scores[adopted == 1].reshape(-1, 1))

# Сравнить исходы в matched pairs
mean_outcome_adopted = users_adopted[outcome_metric].mean()
mean_outcome_not_adopted = users_not_adopted[outcome_metric].iloc[indices.flatten()].mean()
treatment_effect = mean_outcome_adopted - mean_outcome_not_adopted

Метод 4: Difference-in-Differences (DID)

Используйте временные различия для контроля неизменных различий.

-- Данные до и после введения фичи
WITH cohort_outcomes AS (
    SELECT 
        user_cohort,  -- early adopters vs late adopters
        period,       -- before/after введения фичи
        AVG(metric) as mean_metric
    FROM user_events
    GROUP BY user_cohort, period
)
SELECT 
    -- Разница в приросте между cohorts = истинный эффект (если параллельные тренды)
    (SELECT mean_metric FROM cohort_outcomes WHERE user_cohort='early' AND period='after') -
    (SELECT mean_metric FROM cohort_outcomes WHERE user_cohort='early' AND period='before')
    -
    ((SELECT mean_metric FROM cohort_outcomes WHERE user_cohort='late' AND period='after') -
    (SELECT mean_metric FROM cohort_outcomes WHERE user_cohort='late' AND period='before')) as did_estimate;

Метод 5: Regression Discontinuity (RD)

Используйте дискретное правило для разделения — например, users с user_id < 50000 получают фичу.

# Правило: user_id < 50000 → treatment, иначе control
# Сравниваем пользователей с user_id близко к порогу 50000

# Пользователи с user_id 49950-50050 должны быть почти идентичны
# Разница в исходе = истинный эффект

threshold = 50000
bandwidth = 50

treatment = outcomes[outcomes['user_id'] < threshold]['metric']
control = outcomes[outcomes['user_id'] >= threshold]['metric']

# Polynomial fit по обеим сторонам порога
treatment_trend = fit_polynomial(treatment_users['user_id'], treatment_users['metric'])
control_trend = fit_polynomial(control_users['user_id'], control_users['metric'])

# Скачок в точке порога = эффект
rd_estimate = treatment_trend(threshold) - control_trend(threshold)

Диагностика self-selection bias

Шаг 1: Сравнить характеристики groups

-- Если группы сильно отличаются, есть bias
SELECT 
    feature_adopted,
    AVG(user_age) as avg_age,
    AVG(user_subscription_days) as avg_tenure,
    AVG(monthly_revenue) as avg_revenue,
    COUNT(*) as user_count
FROM users
GROUP BY feature_adopted;

-- Проверить статистическую значимость различий (t-test)

Шаг 2: Построить регрессию с контролем

# Без контроля: может показать +50% эффект
y = outcomes
X = feature_adoption  # 0/1
result_naive = LinearRegression().fit(X.reshape(-1, 1), y).coef_[0]  # +50%

# С контролем демографии: может показать +5% эффект
X_full = [feature_adoption, user_age, user_tenure, user_cohort, ...]
result_controlled = LinearRegression().fit(X_full, y).coef_[0]  # +5%

# Если результаты сильно отличаются, есть selection bias
print(f"Naive: {result_naive}, Controlled: {result_controlled}")

Шаг 3: Проверить параллельные тренды (для DID)

# Графики trends для treatment и control ДО вмешательства
# Если они параллельны ДО, то DID валиден

treatment_before = outcomes[treatment & (date < intervention_date)]['metric']
control_before = outcomes[~treatment & (date < intervention_date)]['metric']

treatment_trend = treatment_before.rolling(7).mean()
control_trend = control_before.rolling(7).mean()

plt.plot(treatment_trend, label='Treatment')
plt.plot(control_trend, label='Control')
# Тренды должны быть параллельны

Best practices для Product Analysts

1. Используйте рандомизацию по умолчанию

# Для любой фичи сделайте рандомизированный A/B тест
# даже если кажется "очевидно, что фича хорошая"

2. Никогда не доверяйте добровольному feedback

Это экстремально смещённый sample. Используйте как качественные insights, но не как доказательство.

3. Анализируйте adoption как медиатор, не как исход

Вместо: "Пользователи, которые приняли фичу, имеют +50% конверсию"

Правильно: "Рандомизированный exposure фичи даёт +5% конверсию. Adoption rate 20%, но это не причина эффекта"

4. Проверяйте balance на baseline характеристиках

-- В рандомизированном A/B тесте эти значения должны быть идентичны
SELECT 
    variant,
    AVG(user_age) as age,
    AVG(pre_test_purchases) as purchases,
    AVG(user_tenure_days) as tenure
FROM users
WHERE test_id = 'feature_x'
GROUP BY variant;

Итог

Self-selection bias — это серьёзная угроза внутренней валидности анализа. Главное правило: рандомизируйте! Если рандомизация невозможна, используйте IV, propensity score matching или regression discontinuity. Никогда не анализируйте добровольный adoption как причину метрик — это почти гарантированно смещено. Дополняйте наблюдательные данные рандомизированными экспериментами для истинного понимания причинно-следственных связей.