Что использовал при построении моделей?

Инструменты и технологии для построения моделей

При построении моделей машинного обучения я использовал широкий спектр инструментов, библиотек и подходов для обработки данных, тренировки, валидации и развёртывания.

1. Библиотеки для обработки данных

pandas

• Работа с табличными данными (DataFrames)
• Очистка и трансформация данных
• Агрегация и группировка
• Чтение данных из различных источников (CSV, Excel, SQL)

NumPy

• Работа с многомерными массивами
• Математические операции
• Быстрые вычисления для больших объёмов данных

Scikit-learn preprocessing

• StandardScaler для нормализации
• MinMaxScaler для масштабирования
• OneHotEncoder для категориальных переменных
• Imputer для обработки пропусков

2. Библиотеки для ML моделей

Scikit-learn

• Линейные модели (Linear Regression, Logistic Regression)
• Деревья решений (Decision Trees, Random Forest)
• Машины опорных векторов (SVM)
• K-means, DBSCAN для кластеризации
• Pipeline для конвейеризации

XGBoost / LightGBM

• Градиентный бустинг для регрессии и классификации
• Обработка категориальных признаков
• Быстрое обучение на больших датасетах

CatBoost

• Специализирован на работе с категориальными признаками
• Автоматическая обработка категорий
• Встроенная кросс-валидация

3. Библиотеки для глубокого обучения

TensorFlow / Keras

• Построение нейронных сетей
• Сверточные сети (CNN) для изображений
• Рекуррентные сети (RNN, LSTM) для временных рядов
• Трансформеры для NLP

PyTorch

• Динамические вычислительные графы
• Удобство отладки и экспериментов
• Использование CUDA для ускорения на GPU

Transformers (Hugging Face)

• Предобученные модели BERT, GPT
• Fine-tuning для конкретных задач
• Работа с текстом и NLP

4. Инструменты для валидации и оценки

Scikit-learn evaluation

• cross_val_score для кросс-валидации
• confusion_matrix для оценки классификаторов
• roc_auc_score, roc_curve для ROC анализа
• classification_report для метрик
• GridSearchCV / RandomizedSearchCV для туннинга гиперпараметров

Метрики:

• Для классификации: Accuracy, Precision, Recall, F1-score, AUC-ROC
• Для регрессии: MSE, RMSE, MAE, R-squared
• Для кластеризации: Silhouette Score, Davies-Bouldin Index

5. Визуализация и EDA

Matplotlib

• Базовые графики и диаграммы
• Гистограммы, графики распределения
• Кастомизация визуализаций

Seaborn

• Красивые статистические графики
• Heatmaps для корреляционных матриц
• Распределения и зависимости

Plotly

• Интерактивные визуализации
• Графики 3D
• Дашборды и итерактивные элементы

pandas profiling

• Автоматический EDA отчёт
• Обзор пропусков и статистики

6. Обработка текста (NLP)

NLTK

• Токенизация
• Лемматизация
• Стоп-слова
• Part-of-speech tagging

spaCy

• Быстрая обработка текста
• Named Entity Recognition (NER)
• Зависимости в предложениях

Gensim

• Word2Vec и FastText для embeddings
• Topic modeling (LDA)
• Документные сходства

scikit-learn text processing

• TfidfVectorizer для преобразования текста в векторы
• CountVectorizer
• stop_words обработка

7. Обработка временных рядов

Statsmodels

• ARIMA, SARIMA для прогнозирования
• Сезонная декомпозиция
• Проверка стационарности (ADF test)

Pandas resample

• Переsampling временных рядов
• Агрегация по периодам
• Работа с датами и временем

Prophet (Facebook)

• Прогнозирование с сезонностью
• Обработка праздников и специальных событий
• Интуитивный интерфейс

8. Интерпретируемость моделей

SHAP (SHapley Additive exPlanations)

• Объяснение предсказаний модели
• Feature importance
• Локальные и глобальные объяснения

LIME (Local Interpretable Model-agnostic Explanations)

• Локальные объяснения для любой модели
• Понимание решений в конкретных примерах

Permutation importance

• Важность признаков через перестановки
• Model-agnostic подход

9. Работа с дисбалансом классов

SMOTE (Synthetic Minority Over-sampling Technique)

• Синтетическое генерирование меньшинства класса
• Улучшение баланса классов

Stratified K-Fold

• Сохранение распределения классов в каждом fold
• Правильная оценка на дисбалансированных данных

Class weights

• Взвешивание классов в функции потерь
• Штраф за ошибки на меньшинстве

10. Инструменты для управления экспериментами

MLflow

• Логирование параметров, метрик, артефактов
• Сравнение экспериментов
• Model registry

Weights & Biases

• Отслеживание экспериментов
• Визуализация метрик
• Сравнение разных версий моделей

Jupyter Notebooks

• Интерактивная разработка
• Экспериментирование
• Документирование процесса

11. Развёртывание и продакшн

FastAPI / Flask

• REST API для сервирования моделей
• Асинхронная обработка
• Легкое развёртывание

Docker

• Контейнеризация приложений
• Reproducibility
• Production deployment

Cloud platforms

• AWS SageMaker для обучения и развёртывания
• Google Cloud AI Platform
• Azure ML

12. Версионирование и оркестрация

Git

• Версионирование кода
• Управление экспериментами
• Сотрудничество в команде

DVC (Data Version Control)

• Версионирование данных и моделей
• Кэширование вычислений
• Пайплайны

Apache Airflow

• Оркестрация ML пайплайнов
• Расписание и автоматизация
• Мониторинг

Типичный рабочий процесс

1. EDA (Exploratory Data Analysis): Pandas, Matplotlib, Seaborn
2. Preprocessing: pandas, scikit-learn preprocessing
3. Моделирование: Scikit-learn, XGBoost, или глубокое обучение
4. Валидация: Cross-validation, метрики evaluation
5. Интерпретация: SHAP, LIME
6. Hyperparameter tuning: GridSearchCV, RandomizedSearchCV
7. Финальная оценка: На тестовом наборе
8. Развёртывание: FastAPI, Docker, Cloud
9. Мониторинг: MLflow, W&B, метрики в production

Выбор инструментов зависит от типа задачи, размера данных, требований к интерпретируемости и production constraints.