Что такое selection bias и как его избежать?

Selection Bias: Определение и методы предотвращения

Selection Bias (смещение отбора) — это систематическая ошибка, возникающая когда изучаемая выборка не репрезентативна по отношению к целевой генеральной совокупности. Это приводит к искажённым выводам и неправильным бизнес-решениям.

Типы selection bias

1. Sampling Bias (смещение в выборке)

Основная выборка не отражает характеристики генеральной совокупности. Например, опрос только активных пользователей упускает неактивных, которые могут иметь другие нужды.

2. Attrition Bias (смещение отсева)

Пользователи неслучайно выбывают из исследования. В долгосрочных исследованиях те, кто выбыли, могут иметь систематические отличия (более недовольные, занятые и т.д.).

3. Survivorship Bias (смещение выжившего)

Изучаются только успешные объекты, игнорируя те, что "не выжили". Классический пример: анализ трейдеров на бирже, которые заработали деньги, игнорируя тех, кто разорился.

4. Self-Selection Bias (смещение самовыбора)

Участники сами решают, участвовать ли в исследовании. Люди, согласившиеся участвовать в опросе, часто имеют более сильные мнения чем тихое большинство.

5. Healthy User Bias

В медицине и SaaS: пользователи, продолжающие использовать продукт, часто здоровее/успешнее, чем те, кто перестал. Это может исказить оценку эффективности.

6. Observational Bias

Приисследовании, пользователи ведут себя иначе из-за того, что знают о наблюдении (Hawthorne Effect).

Примеры selection bias в бизнесе

Сценарий 1: Оценка качества поддержки

Проблема: Анализируем только контакты, которые были закрыты как "решено"
Ошибка: Упускаем пользователей, которые не контактировали со своей проблемой
Последствие: Переоцениваем качество поддержки

Решение: Включить в анализ также пользователей, которые ушли к конкурентам

Сценарий 2: Анализ ROI маркетинговой кампании

Проблема: Анализируем только пользователей, которые кликнули на объявление
Ошибка: Не учитываем selection bias — люди, кликнувшие, изначально были более заинтересованы
Последствие: Переоцениваем ROI кампании

Решение: Использовать контрольную группу (те, кто не видел объявление)

Методы предотвращения selection bias

1. Рандомизация (Randomization)

Ключевой метод в A/B тестировании. Случайное распределение участников снижает вероятность систематических отличий:

import random

# Хороший подход
users = get_all_users()  # Все пользователи
random.shuffle(users)
control_group = users[:len(users)//2]
treatment_group = users[len(users)//2:]

# Плохой подход (selection bias)
active_users = get_active_users_last_30_days()  # Только активные!
control_group = active_users[:len(active_users)//2]
treatment_group = active_users[len(active_users)//2:]

2. Stratified Sampling (слоистая выборка)

Разделить генеральную совокупность на слои и выбрать из каждого пропорционально:

import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('users.csv')

# Стратифицированная выборка по регионам
df_sample = df.groupby('region', group_keys=False).apply(
    lambda x: x.sample(frac=0.2, random_state=42)
)

print(f"Исходное распределение по регионам:")
print(df['region'].value_counts(normalize=True))
print(f"\nВыборки распределение:")
print(df_sample['region'].value_counts(normalize=True))

3. SQL для включения всех категорий

-- Плохо: только активные пользователи за последние 30 дней
SELECT 
  user_id,
  COUNT(*) as interactions
FROM events
WHERE created_at >= CURRENT_DATE - INTERVAL '30 days'
GROUP BY user_id;

-- Хорошо: все пользователи, включая неактивных
SELECT 
  u.user_id,
  COUNT(e.id) as interactions_last_30d,
  u.created_at,
  u.subscription_status
FROM users u
LEFT JOIN events e ON u.user_id = e.user_id 
  AND e.created_at >= CURRENT_DATE - INTERVAL '30 days'
GROUP BY u.user_id, u.created_at, u.subscription_status
ORDER BY interactions_last_30d DESC;

4. Контрольная группа (Control Group)

Сравнение тестовой группы с контрольной, которая не получила лечения (intervention):

# A/B тест с надлежащим контролем
df['group'] = df['user_id'].apply(lambda x: 'control' if hash(x) % 2 == 0 else 'treatment')

# Проверка баланса групп
for var in ['age', 'income', 'signup_date']:
    control_mean = df[df['group'] == 'control'][var].mean()
    treatment_mean = df[df['group'] == 'treatment'][var].mean()
    print(f"{var}: Control={control_mean:.2f}, Treatment={treatment_mean:.2f}")

# Если средние сильно отличаются — есть selection bias!

5. Методы учёта смещения (Propensity Score Matching)

Для observational studies, где нельзя рандомизировать:

from sklearn.linear_model import LogisticRegression
from sklearn.metrics.pairwise import euclidean_distances

# 1. Оценить вероятность выбора лечения (propensity score)
X = df[['age', 'income', 'engagement']]
y = df['received_treatment']

model = LogisticRegression()
model.fit(X, y)
df['propensity_score'] = model.predict_proba(X)[:, 1]

# 2. Подобрать контрольные объекты с похожим propensity score
treatment = df[df['received_treatment'] == 1]
control = df[df['received_treatment'] == 0]

matched_control = []
for idx, row in treatment.iterrows():
    ps = row['propensity_score']
    # Найти контрольного юзера с похожим propensity score
    closest = control.iloc[(control['propensity_score'] - ps).abs().argsort()[:1]]
    matched_control.append(closest.iloc[0])

# Теперь лечение и matched_control сбалансированы

6. Панельные данные (Panel Data)

Отслеживать одних и тех же пользователей через время:

-- Панельные данные: каждый пользователь каждый месяц
SELECT 
  user_id,
  DATE_TRUNC('month', created_at)::DATE as month,
  COUNT(*) as events,
  SUM(CASE WHEN event_type = 'purchase' THEN 1 ELSE 0 END) as purchases
FROM events
GROUP BY user_id, DATE_TRUNC('month', created_at)
ORDER BY user_id, month;

7. Sensitivity Analysis (анализ чувствительности)

Проверить, как выводы меняются при разных предположениях:

# Базовый расчет
def calculate_metric(include_inactive=False):
    if include_inactive:
        subset = df[df['is_active'] == True]  # Может быть bias
    else:
        subset = df  # Вся выборка
    
    return subset['conversion_rate'].mean()

# Анализ чувствительности
print("Базовый: {:.4f}".format(calculate_metric(include_inactive=False)))
print("Без неактивных: {:.4f}".format(calculate_metric(include_inactive=True)))

# Если результаты сильно отличаются — есть selection bias

Контрольный список для избежания selection bias

• Определена генеральная совокупность: кто входит в целевую аудиторию?
• Выборка репрезентативна: отражает ли она генеральную совокупность по всем важным характеристикам?
• Рандомизация: есть ли механизм случайного отбора?
• Контрольная группа: есть ли для сравнения?
• Нет выбывания: исключены ли данные участников, выбывших из исследования?
• Описана методология: документированы критерии включения/исключения
• Проверена балансировка: похожи ли группы по базовым характеристикам?
• Проведён анализ чувствительности: устойчивы ли результаты к разным предположениям?

Практический пример: A/B тест с контролем selection bias

import pandas as pd
from scipy import stats

# 1. Получить ВСЕ пользователей (никаких фильтров!)
df = pd.read_csv('users.csv')

# 2. Рандомизировать
df['group'] = np.random.choice(['control', 'treatment'], size=len(df))

# 3. Проверить баланс групп по характеристикам
for var in ['age', 'country', 'signup_date']:
    control_dist = df[df['group'] == 'control'][var].value_counts(normalize=True)
    treatment_dist = df[df['group'] == 'treatment'][var].value_counts(normalize=True)
    # Chi-square тест
    stat, p_value = stats.chisquare([control_dist, treatment_dist])
    print(f"{var}: p-value={p_value:.4f}")
    if p_value < 0.05:
        print(f"  ⚠️  Дисбаланс в {var}!")

# 4. Анализировать результаты
for group in ['control', 'treatment']:
    subset = df[df['group'] == group]
    conversion = subset['converted'].sum() / len(subset)
    print(f"\n{group.capitalize()}: {conversion:.4f}")

# 5. Статистический тест
control_conversions = df[df['group'] == 'control']['converted'].sum()
treatment_conversions = df[df['group'] == 'treatment']['converted'].sum()
control_n = len(df[df['group'] == 'control'])
treatment_n = len(df[df['group'] == 'treatment'])

stat, p_value = stats.chi2_contingency(
    [[control_conversions, control_n - control_conversions],
     [treatment_conversions, treatment_n - treatment_conversions]]
)[1]

print(f"\nStatistical Significance: p-value={p_value:.4f}")

Selection bias — это часто недооцениваемый источник ошибок. Тщательное планирование выборки и использование правильных методов — основа для надёжных выводов.