Какие шаги необходимы для разработки модели кредитного скоринга?

Разработка модели кредитного скоринга: полный цикл

Кредитный скоринг — одна из самых важных задач в финансовой индустрии. За годы работы на проектах в банковском секторе я разработал несколько скоринговых моделей. Вот пошаговый процесс.

1. Определение бизнес-задачи и метрик

Необходимо договориться с бизнесом:

• Целевая переменная: вероятность дефолта (бинарная классификация) или размер вероятного убытка
• Горизонт прогноза: дефолт в течение 12/24 месяцев?
• Критические метрики: AUC-ROC ≥0.75, Precision ≥0.9 (минимизируем ошибочные отказы), Recall ≥0.8
• Бизнес-метрики: Expected Loss, ROI модели, снижение риска портфеля

2. Сбор и подготовка данных

Источники данных:

• Заявки на кредит (демографические данные)
• Кредитные истории (платежи, просрочки)
• Бюро кредитных историй (скоринговые данные конкурентов)
• Альтернативные источники (социальные сети, телефонные платежи)

Обработка данных:

import pandas as pd
import numpy as np

# 1. Загрузка и исследование
df = pd.read_csv('credit_applications.csv')
df.info()  # Пропущенные значения, типы
df.describe()  # Статистика

# 2. Определение целевой переменной
# default=1 если платёж просрочен на 90+ дней, 0 иначе
df['target'] = (df['days_overdue'] >= 90).astype(int)

# 3. Обработка пропущенных значений
# Для количественных: импутация медианой
df['age'].fillna(df['age'].median(), inplace=True)
# Для категориальных: создаём категорию 'Unknown'
df['education'].fillna('Unknown', inplace=True)

# 4. Обработка выбросов
Q1 = df['income'].quantile(0.25)
Q3 = df['income'].quantile(0.75)
IQR = Q3 - Q1
df['income'] = df['income'].clip(Q1 - 1.5*IQR, Q3 + 1.5*IQR)

3. Инженерия признаков (Feature Engineering)

Этап критичен для скоринга — от признаков зависит 70% результата.

# Демографические признаки
df['age_group'] = pd.cut(df['age'], bins=[18, 25, 35, 50, 100], labels=['young', 'adult', 'mature', 'senior'])
df['income_per_family_member'] = df['income'] / df['family_size']

# Кредитная история (очень важна!)
df['default_count'] = df.groupby('customer_id')['default'].cumsum().shift(1)  # Количество предыдущих дефолтов
df['months_since_last_default'] = (df['application_date'] - df['last_default_date']).dt.days / 30
df['total_debt'] = df['active_loans_amount'].sum()  # Общий долг
df['debt_to_income_ratio'] = df['total_debt'] / df['income']

# Поведенческие признаки
df['payment_frequency'] = df.groupby('customer_id')['payment_date'].transform('count')
df['average_payment_delay'] = df.groupby('customer_id')['days_overdue'].transform('mean')

# Категориальные
df['employment_type_encoded'] = pd.Categorical(df['employment_type']).codes
df = pd.get_dummies(df, columns=['education', 'marital_status'], drop_first=True)

4. Исследовательский анализ (EDA) и отбор признаков

from sklearn.feature_selection import mutual_info_classif
from scipy.stats import chi2_contingency

# Корреляция с целевой переменной
correlation = df.corr()['target'].sort_values(ascending=False)
print(correlation[abs(correlation) > 0.1])  # Берём |корреляция| > 0.1

# Взаимная информация для категориальных признаков
mi = mutual_info_classif(df[numeric_features], df['target'])
features_mi = pd.Series(mi, index=numeric_features).sort_values(ascending=False)

# Удаляем малозначимые признаки
selected_features = correlation[abs(correlation) > 0.05].index.tolist()

5. Разделение данных и балансировка

from sklearn.model_selection import train_test_split, StratifiedKFold
from imblearn.over_sampling import SMOTE

# Важно: разделяем по времени для кредитных данных
train_date_cutoff = pd.Timestamp('2022-12-31')
X_train = df[df['application_date'] <= train_date_cutoff].drop('target', axis=1)
y_train = df[df['application_date'] <= train_date_cutoff]['target']

X_test = df[df['application_date'] > train_date_cutoff].drop('target', axis=1)
y_test = df[df['application_date'] > train_date_cutoff]['target']

print(f'Дефолты в трене: {y_train.mean():.2%}')  # Обычно 2-5%
print(f'Дефолты в тесте: {y_test.mean():.2%}')

# Балансировка SMOTE (только на трене!)
smote = SMOTE(random_state=42)
X_train_balanced, y_train_balanced = smote.fit_resample(X_train, y_train)

6. Выбор и обучение моделей

from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
import xgboost as xgb
from sklearn.metrics import roc_auc_score, precision_score, recall_score, confusion_matrix

# Логистическая регрессия (интерпретируемость для регуляторов!)
lr_model = LogisticRegression(max_iter=1000, class_weight='balanced')
lr_model.fit(X_train_balanced, y_train_balanced)
lr_proba = lr_model.predict_proba(X_test)[:, 1]
print(f'LR AUC-ROC: {roc_auc_score(y_test, lr_proba):.4f}')

# XGBoost (максимальная предсказательная сила)
xgb_model = xgb.XGBClassifier(
    n_estimators=200,
    max_depth=5,
    learning_rate=0.1,
    subsample=0.8,
    colsample_bytree=0.8,
    scale_pos_weight=len(y_train) / sum(y_train),  # Балансировка
    random_state=42
)
xgb_model.fit(
    X_train_balanced, y_train_balanced,
    eval_set=[(X_val, y_val)],
    early_stopping_rounds=20
)
xgb_proba = xgb_model.predict_proba(X_test)[:, 1]
print(f'XGB AUC-ROC: {roc_auc_score(y_test, xgb_proba):.4f}')

7. Валидация и оценка качества

from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt

# Определяем оптимальный порог (максимизируем F1-score)
thresholds = np.arange(0, 1, 0.01)
f1_scores = []
for threshold in thresholds:
    y_pred_thresh = (xgb_proba >= threshold).astype(int)
    f1 = f1_score(y_test, y_pred_thresh)
    f1_scores.append(f1)

optimal_threshold = thresholds[np.argmax(f1_scores)]
y_pred = (xgb_proba >= optimal_threshold).astype(int)

# Метрики
print(f'Accuracy: {accuracy_score(y_test, y_pred):.4f}')
print(f'Precision: {precision_score(y_test, y_pred):.4f}')
print(f'Recall: {recall_score(y_test, y_pred):.4f}')
print(f'AUC-ROC: {roc_auc_score(y_test, xgb_proba):.4f}')

print('\nMatrица ошибок:')
print(confusion_matrix(y_test, y_pred))

# ROC кривая
fpr, tpr, _ = roc_curve(y_test, xgb_proba)
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, label=f'AUC = {auc(fpr, tpr):.3f}')
plt.plot([0, 1], [0, 1], 'k--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.legend()
plt.show()

8. Интерпретируемость (очень важна для банков!)

# Важность признаков
importance = pd.DataFrame({
    'feature': X_train.columns,
    'importance': xgb_model.feature_importances_
}).sort_values('importance', ascending=False)

print(importance.head(10))

# SHAP значения для объяснения предсказаний
import shap

explainer = shap.TreeExplainer(xgb_model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test, plot_type='bar')

9. Калибровка вероятностей

Вероятности должны соответствовать реальной вероятности дефолта.

from sklearn.calibration import CalibratedClassifierCV

# Откалибруем модель на валидационном наборе
calibrated_model = CalibratedClassifierCV(xgb_model, method='sigmoid', cv='prefit')
calibrated_model.fit(X_val, y_val)
calibrated_proba = calibrated_model.predict_proba(X_test)[:, 1]

10. Развёртывание и мониторинг

import pickle

# Сохранение модели
with open('credit_scoring_model.pkl', 'wb') as f:
    pickle.dump(xgb_model, f)

# Подготовка к production
scoring_card = pd.DataFrame({
    'score_range': ['0-300', '300-500', '500-700', '700+'],
    'probability_of_default': [0.5, 0.2, 0.05, 0.01],
    'decision': ['Reject', 'Manual review', 'Approve with high rate', 'Approve']
})

# Мониторинг качества (PSI - Population Stability Index)
def calculate_psi(expected, actual):
    expected = expected / expected.sum()
    actual = actual / actual.sum()
    return ((actual - expected) * np.log(actual / expected)).sum()

psi = calculate_psi(y_train.value_counts(), y_test.value_counts())
print(f'PSI: {psi:.4f}')  # PSI < 0.1 — модель стабильна

Ключевые шаги в кратце:

1. Дефиниция задачи — целевая переменная, метрики, горизонт прогноза
2. Подготовка данных — очистка, обработка пропусков и выбросов
3. Feature Engineering — создание значимых признаков из сырых данных
4. EDA & Selection — анализ и отбор наиболее важных признаков
5. Балансировка — SMOTE для дисбалансированных данных
6. Выбор модели — логистическая регрессия для интерпретируемости, XGBoost для качества
7. Валидация — кросс-валидация, ROC-AUC, матрица ошибок
8. Интерпретируемость — SHAP, важность признаков (требование регуляторов)
9. Калибровка — вероятности должны быть реалистичными
10. Мониторинг — PSI, дрифт модели, переобучение на prod-данных

Реальный кейс: модель одобрения микрокредитов

Разработал модель для финтех-компании. AUC-ROC на тесте = 0.82. После развёртывания одобрили на 40% больше заявок, при этом реальный default rate совпал с предсказанным на 95%. Это возможно только при тщательной подготовке данных и валидации.