Какие задачи выполняет Data Scientist?

Какие задачи выполняет Data Scientist?

Data Scientist — это роль на пересечении статистики, программирования и бизнес-аналитики. Профессионал работает со всеми этапами жизненного цикла данных и моделей.

1. Подготовка и анализ данных (EDA)

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# Исследовательский анализ данных (Exploratory Data Analysis)
df = pd.read_csv('data.csv')

# Базовая информация
print(df.info())
print(df.describe())

# Проверка пропусков
print(df.isnull().sum())

# Распределение целевой переменной
df['target'].value_counts()

# Визуализация
df.hist(figsize=(10, 8))
plt.show()

# Корреляционный анализ
import seaborn as sns
corr_matrix = df.corr()
sns.heatmap(corr_matrix)
plt.show()

Задачи:

• Понять структуру данных
• Выявить пропуски и аномалии
• Найти паттерны и зависимости
• Проверить распределение признаков

2. Очистка и обработка данных (Data Cleaning)

# Обработка пропусков
df['age'].fillna(df['age'].median(), inplace=True)
df['category'].fillna(df['category'].mode()[0], inplace=True)

# Удаление дубликатов
df = df.drop_duplicates()

# Удаление выбросов
Q1 = df['salary'].quantile(0.25)
Q3 = df['salary'].quantile(0.75)
IQR = Q3 - Q1
df = df[(df['salary'] >= Q1 - 1.5 * IQR) & (df['salary'] <= Q3 + 1.5 * IQR)]

# Преобразование типов
df['date'] = pd.to_datetime(df['date'])

# Логирование
df['salary'] = np.log(df['salary'] + 1)

Задачи:

• Обработка пропущенных значений
• Удаление дубликатов
• Обработка выбросов
• Преобразование типов данных

3. Инженерия признаков (Feature Engineering)

# Создание новых признаков
df['age_squared'] = df['age'] ** 2
df['experience_age_ratio'] = df['experience'] / (df['age'] + 1)

# Категориальное кодирование
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
df['city_encoded'] = le.fit_transform(df['city'])

# One-Hot Encoding
df = pd.get_dummies(df, columns=['country'], drop_first=True)

# Нормализация
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df[['age', 'salary']] = scaler.fit_transform(df[['age', 'salary']])

# Выбор признаков
from sklearn.feature_selection import SelectKBest, f_classif
selector = SelectKBest(f_classif, k=10)
X_selected = selector.fit_transform(X, y)

Задачи:

• Создание новых признаков
• Кодирование категориальных переменных
• Нормализация и масштабирование
• Выбор значимых признаков

4. Обучение моделей

from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.ensemble import RandomForestClassifier
from xgboost import XGBClassifier

# Разбиение данных
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

# Обучение нескольких моделей
models = {
    'Random Forest': RandomForestClassifier(n_estimators=100),
    'XGBoost': XGBClassifier(n_estimators=100),
}

for name, model in models.items():
    model.fit(X_train, y_train)
    
    # Cross-validation
    cv_scores = cross_val_score(model, X_train, y_train, cv=5)
    print(f'{name}: CV Score = {cv_scores.mean():.3f} (+/- {cv_scores.std():.3f})')
    
    # Тестирование
    test_score = model.score(X_test, y_test)
    print(f'{name}: Test Score = {test_score:.3f}')

Задачи:

• Выбор подходящих алгоритмов
• Обучение моделей
• Кросс-валидация
• Сравнение моделей

5. Оценка и валидация моделей

from sklearn.metrics import (
    accuracy_score, precision_score, recall_score, f1_score,
    roc_auc_score, confusion_matrix, classification_report
)

# Предсказания
y_pred = model.predict(X_test)
y_pred_proba = model.predict_proba(X_test)[:, 1]

# Метрики
print(f'Accuracy: {accuracy_score(y_test, y_pred):.3f}')
print(f'Precision: {precision_score(y_test, y_pred):.3f}')
print(f'Recall: {recall_score(y_test, y_pred):.3f}')
print(f'F1-Score: {f1_score(y_test, y_pred):.3f}')
print(f'AUC-ROC: {roc_auc_score(y_test, y_pred_proba):.3f}')

# Матрица ошибок
print('\nConfusion Matrix:')
print(confusion_matrix(y_test, y_pred))

# Подробный отчет
print('\nClassification Report:')
print(classification_report(y_test, y_pred))

Задачи:

• Вычисление метрик качества
• Анализ ошибок
• Оценка переобучения
• Интерпретация результатов

6. Оптимизация и tuning гиперпараметров

from sklearn.model_selection import GridSearchCV, RandomizedSearchCV

# Grid Search
param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [5, 10, 15],
    'learning_rate': [0.01, 0.1, 0.5]
}

grid_search = GridSearchCV(
    XGBClassifier(),
    param_grid,
    cv=5,
    n_jobs=-1
)

grid_search.fit(X_train, y_train)

print(f'Best parameters: {grid_search.best_params_}')
print(f'Best CV score: {grid_search.best_score_:.3f}')

# Использование лучшей модели
best_model = grid_search.best_estimator_
test_score = best_model.score(X_test, y_test)
print(f'Test score: {test_score:.3f}')

Задачи:

• Поиск оптимальных гиперпараметров
• Балансировка bias-variance
• Предотвращение переобучения

7. Интерпретируемость модели (Explainability)

import shap

# Feature Importance (для tree-based моделей)
importances = model.feature_importances_
features = X.columns
top_indices = np.argsort(importances)[-10:]

print('Top 10 Important Features:')
for idx in top_indices[::-1]:
    print(f'{features[idx]}: {importances[idx]:.4f}')

# SHAP для объяснения предсказаний
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test, plot_type='bar')

# Partial Dependence Plot
from sklearn.inspection import partial_dependence
pd_result = partial_dependence(model, X_test, features=[0, 1])

Задачи:

• Feature importance анализ
• Объяснение предсказаний
• Визуализация влияния признаков

8. Развертывание и мониторинг (MLOps)

import joblib
import mlflow

# Сохранение модели
joblib.dump(model, 'model.pkl')

# MLflow tracking
mlflow.start_run()
mlflow.log_params({'n_estimators': 100, 'max_depth': 5})
mlflow.log_metrics({'accuracy': 0.92, 'f1_score': 0.89})
mlflow.sklearn.log_model(model, 'model')
mlflow.end_run()

# Создание API
from flask import Flask, request, jsonify

app = Flask(__name__)
model = joblib.load('model.pkl')

@app.route('/predict', methods=['POST'])
def predict():
    data = request.json
    X = pd.DataFrame([data])
    prediction = model.predict(X)[0]
    return jsonify({'prediction': int(prediction)})

if __name__ == '__main__':
    app.run()

Задачи:

• Packaging и версионирование моделей
• Создание API для предсказаний
• Мониторинг производительности
• А/Б тестирование

9. Решение бизнес-задач

Примеры реальных задач:

1. Предсказание оттока клиентов (churn prediction)
   →识别рискующих клиентов, ретенция, снижение убытков

2. Ценообразование (pricing optimization)
   → Максимизация выручки, A/B тестирование цен

3. Рекомендации (recommendation systems)
   → Повышение engagement, cross-selling

4. Обнаружение аномалий (anomaly detection)
   → Fraud detection, система безопасности

5. Сегментация клиентов (clustering)
   → Персонализация, целевой маркетинг

10. Коммуникация результатов

# Создание отчёта
report = f"""
# Анализ модели

## Результаты
- Accuracy: {accuracy:.3f}
- ROC-AUC: {roc_auc:.3f}

## Выводы
1. Модель показывает хорошую производительность
2. Top 3 признака: {top_features}
3. Рекомендация: развернуть в production
"""

print(report)

Задачи:

• Представление результатов бизнес-команде
• Визуализация insights
• Документирование выводов
• Рекомендации по действиям

Итоговый список задач Data Scientist

1. Сбор и подготовка данных — EDA, очистка, обработка пропусков
2. Feature Engineering — создание и отбор признаков
3. Обучение моделей — выбор алгоритмов, обучение
4. Оценка и валидация — метрики, cross-validation
5. Оптимизация — tuning гиперпараметров
6. Интерпретация — объяснение результатов
7. Развертывание — production-ready код, API
8. Мониторинг — отслеживание производительности
9. Решение бизнес-задач — от данных к action items
10. Коммуникация — отчеты и презентации

Data Scientist должен быть комбинацией программиста, статистика и консультанта!