Как ставилась задача в рабочем ML-проекте?

Как ставилась задача в рабочем ML-проекте

Реальный пример из практики

В одном из своих проектов работал над системой предсказания оттока клиентов (churn prediction) для телекоммуникационной компании. Вот как была поставлена и развивалась задача.

Этап 1: Инициальный brief от бизнеса

Встреча с Product Manager:

ПМ: "Нам нужно предсказать, какие клиенты уйдут в течение 
следующего месяца. У нас есть доступ к данным об использовании 
услуг за последний год. Какие есть возможности?"

Дата сет: 50k клиентов, 200 признаков
Цель: определить клиентов, которые могут отойти
Сроки: 2 недели на MVP

Проблемы в initial brief:

• Не определена метрика успеха
• Не ясна business цель (сохранить кого? потратить сколько?)
• Нет baseline'а
• Нет constraint'ов (латенси, частота обновления и т.д.)

Этап 2: Уточнение требований

Мои вопросы бизнес-команде:

# Вопрос 1: Метрика успеха
Вопрос: "Что важнее - не пропустить оттекающего клиента 
или не тратить ресурсы на ложные срабатывания?"
Ответ: "Оба важны, но стоимость удержания высока, поэтому 
точность важнее полноты"
→ Это указало на важность Precision

# Вопрос 2: Бизнес метрика
Вопрос: "Если мы предсказываем отток, какое действие вы примете?"
Ответ: "Отправим специальное предложение (скидка 20%, бесплатные услуги)"
→ Нужно учесть затраты на акцию

# Вопрос 3: Baseline
Вопрос: "Каков текущий процент оттока?"
Ответ: "5% в месяц"
→ Простой baseline: "предскажи никого" даст 95% accuracy

# Вопрос 4: Constraint'ы
Вопрос: "Как часто нужны предсказания и с какой задержкой?"
Ответ: "Ежедневно, в т.ч. для новых клиентов. 
Латенси < 100ms для online inference"
→ Нужна fast model в production

Этап 3: Формулировка ML задачи

После уточнений перевёл бизнес-задачу в ML-задачу:

# ML PROBLEM STATEMENT

"""Задача: Бинарная классификация

Описание:
  Предсказать вероятность оттока клиента на следующий месяц
  
Данные:
  - Входные: 200 признаков (использование услуг, демография, биллинг)
  - Выходные: 0 (остаётся) или 1 (уходит)
  - Train: 40k клиентов (месяц 1-12)
  - Test: 10k клиентов (месяц 13)
  
Метрики:
  - Primary: Precision при Recall >= 0.8 (не пропустить 80% отходящих)
  - Secondary: ROC-AUC для интеграции
  - Business: Expected revenue impact (ROI)
  
Constraint'ы:
  - Inference latency < 100ms (p95)
  - Model size < 10MB
  - Обновление модели еженедельно
  - Поддержка батч-предсказаний (50k клиентов в час)
  
Тестирование:
  - Валидация на месяц 13 (hold-out)
  - Backtesting на месяцы 6-12
  - A/B тест на 10% клиентов
  
Сроки:
  - MVP: 2 недели (baseline + simple model)
  - Production: 4 недели (оптимизация + deployment)
"""

Этап 4: EDA и понимание данных

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt

# Загрузить данные
df = pd.read_csv('customer_data.csv')

# EDA
print(f"Shape: {df.shape}")  # (50000, 200)
print(f"Churn rate: {df['churn'].mean():.2%}")  # 5.2%
print(f"Missing values: {df.isnull().sum().sum()}")  # 0

# Анализ дисбаланса
print(df['churn'].value_counts())
# 0    47400 (94.8%)
# 1     2600 (5.2%)
→ Класс не очень дисбалансирован, можно использовать обычные метрики

# Признаки
feature_types = df.dtypes.value_counts()
print(feature_types)
# int64     120
# float64    50
# object     30 (категориальные)
→ Нужна обработка категориальных признаков

# Статистика
print(df.describe())
print(df.corr()['churn'].sort_values(ascending=False).head(10))
→ Некоторые признаки сильно коррелируют с оттоком

# Выводы для моделирования:
# 1. Данные чистые (нет пропусков)
# 2. Не очень выраженный дисбаланс
# 3. Есть сильные сигналы в признаках
# 4. Нужна обработка категориальных данных

Этап 5: Определение базовых моделей

# ПЛАН ЭКСПЕРИМЕНТОВ

models_to_try = [
    {
        'name': 'Logistic Regression',
        'rationale': 'Baseline, интерпретируемо, быстро',
        'expected_auc': 0.70
    },
    {
        'name': 'Random Forest',
        'rationale': 'Feature importance, обработает non-linearity',
        'expected_auc': 0.82
    },
    {
        'name': 'XGBoost',
        'rationale': 'State-of-the-art, fast training',
        'expected_auc': 0.85
    },
    {
        'name': 'LightGBM',
        'rationale': 'Быстрее, может работать с categorical',
        'expected_auc': 0.85
    }
]

for model_config in models_to_try:
    print(f"Экспериментируем с {model_config['name']}")
    # Обучение и оценка

Этап 6: Реальный pipeline

from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from xgboost import XGBClassifier
from sklearn.metrics import precision_score, recall_score, roc_auc_score

# Подготовка
X = df.drop('churn', axis=1)
y = df['churn']

# Разбить данные
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42
)

# Preprocessing
preprocessor = ColumnTransformer([
    ('num', StandardScaler(), X.select_dtypes(include=[np.number]).columns),
    ('cat', OneHotEncoder(sparse_output=False, handle_unknown='ignore'),
     X.select_dtypes(include=['object']).columns)
])

# Pipeline
pipeline = Pipeline([
    ('preprocessor', preprocessor),
    ('model', XGBClassifier(n_estimators=100, max_depth=5, random_state=42))
])

# Обучение
pipeline.fit(X_train, y_train)

# Оценка
y_pred = pipeline.predict(X_test)
y_pred_proba = pipeline.predict_proba(X_test)[:, 1]

print(f"Precision (при threshold=0.5): {precision_score(y_test, y_pred):.3f}")
print(f"Recall (при threshold=0.5): {recall_score(y_test, y_pred):.3f}")
print(f"ROC-AUC: {roc_auc_score(y_test, y_pred_proba):.3f}")

# Оптимизация threshold'а для бизнес-метрики
for threshold in [0.3, 0.4, 0.5, 0.6, 0.7]:
    y_pred_threshold = (y_pred_proba >= threshold).astype(int)
    precision = precision_score(y_test, y_pred_threshold)
    recall = recall_score(y_test, y_pred_threshold)
    print(f"Threshold {threshold}: Precision={precision:.3f}, Recall={recall:.3f}")

Этап 7: Бизнес-оценка

# BUSINESS METRICS

# Затраты и прибыль
cost_retention_offer = 50  # $ стоимость предложения
value_retained_customer = 1000  # $ прибыль от удержанного клиента
value_false_alarm = -50  # $ потери от ненужного предложения

# Расчет для разных threshold'ов
threshold_analysis = []

for threshold in np.arange(0.2, 0.8, 0.1):
    y_pred_threshold = (y_pred_proba >= threshold).astype(int)
    
    TP = ((y_pred_threshold == 1) & (y_test == 1)).sum()  # Верно предсказали отток
    FP = ((y_pred_threshold == 1) & (y_test == 0)).sum()  # False alarm
    FN = ((y_pred_threshold == 0) & (y_test == 1)).sum()  # Пропустили отток
    
    # Расчет ROI
    revenue = TP * value_retained_customer - FP * cost_retention_offer
    roi = revenue / (len(y_test) * cost_retention_offer) * 100
    
    threshold_analysis.append({
        'threshold': threshold,
        'TP': TP,
        'FP': FP,
        'FN': FN,
        'revenue': revenue,
        'roi': roi
    })

best_threshold = max(threshold_analysis, key=lambda x: x['roi'])
print(f"Best threshold: {best_threshold['threshold']:.2f}")
print(f"Expected revenue: ${best_threshold['revenue']:,.0f}")
print(f"ROI: {best_threshold['roi']:.1f}%")

Этап 8: Deployment и мониторинг

Как была развёрнута модель:

# Сохранить модель
import joblib
joblib.dump(pipeline, 'churn_model.pkl')

# API (FastAPI)
from fastapi import FastAPI
import numpy as np

app = FastAPI()
model = joblib.load('churn_model.pkl')

@app.post("/predict/churn")
def predict_churn(customer_data: dict):
    # Конвертировать в DataFrame
    df = pd.DataFrame([customer_data])
    
    # Предсказание
    churn_probability = model.predict_proba(df)[0][1]
    
    return {
        'churn_probability': float(churn_probability),
        'should_retain': churn_probability > 0.45
    }

# Мониторинг
@app.post("/log-prediction")
def log_prediction(customer_id: int, churn_prob: float, actual_churn: bool = None):
    # Логировать предсказание для анализа drift'а
    # Сравнивать с actual outcome спустя месяц
    pass

Этап 9: Learnings и итерация

После запуска модели в production:

Штуки, которые пошли не так:
1. Data drift — со временем паттерны оттока изменились
   → Нужно пересчитывать модель каждую неделю
   
2. Model drift — точность на new data упала с 85% до 75%
   → Добавили feature engineering для новых признаков
   
3. Bias — модель хуже предсказывает для некоторых сегментов
   → Обучили отдельные модели для разных сегментов
   
4. Business feedback — некоторые предсказания были странные
   → Добавили business rule'ы и constraints

Финальный процесс постановки задачи

Чек-лист для правильной постановки ML задачи:

☑ Определена бизнес-метрика (не только accuracy)
☑ Определены constraint'ы (latency, size, frequency)
☑ Собраны и поняты данные (EDA)
☑ Выбрана метрика оценки, согласованная с бизнесом
☑ Определён baseline для сравнения
☑ Выбраны модели для экспериментов
☑ Рассчитана ожидаемая ROI
☑ Выбран процесс валидации (train/val/test split)
☑ Определён процесс development и deployment
☑ Определён процесс мониторинга в production

Заключение

Добавлю, что правильная постановка задачи — это не разовая встреча, это итеративный процесс:

1. Уточнение требований с бизнесом
2. EDA для понимания данных
3. ML постановка задачи
4. Экспериментирование с моделями
5. Бизнес-оценка результатов
6. Deployment и мониторинг
7. Итерация на основе feedback'а

Многие проблемы в ML проектах возникают не потому что модель плохая, а потому что задача была поставлена неправильно. Потратьте время на правильную постановку задачи — это сэкономит недели позже.