Какие используешь инструменты для разработки на Python?

Инструменты для разработки на Python в DS

После 10+ лет в Data Science я использую тщательно подобранный набор инструментов, которые позволяют эффективно разрабатывать, тестировать и развертывать решения.

IDE и редакторы

PyCharm Professional — основной инструмент для разработки. Люблю за:

• Встроенный дебаггер с поддержкой удалённых сессий
• Отличную интеграцию с git, Docker и conda
• Code inspections и автоматические рефакторинги
• SQL editor с поддержкой разных БД

VS Code — использую для быстрого редактирования и работы на серверах через SSH. Extensions: Python, Pylance, GitLens.

Управление зависимостями и окружением

conda — мой выбор для DS проектов:

conda create -n ml_project python=3.11 pandas scikit-learn
conda activate ml_project

pip + uv — для быстрой установки. uv в 50+ раз быстрее pip при большом количестве зависимостей.

Poetry — для production-ready пакетов с точным контролем версий через pyproject.toml.

Качество кода

Black — автоматический форматер, позволяющий забыть о стилистических споров:

black my_script.py  # Автоматически переформатирует

Ruff — супербыстрый линтер на Rust. Проверяет PEP 8, находит неиспользуемые импорты:

ruff check . --fix  # Автоматическое исправление

mypy — статическая типизация:

mypy src/  # Проверка типов

isort — сортировка импортов по PEP 8:

isort .

Тестирование

pytest — стандарт индустрии. Люблю за:

• Простой синтаксис
• Встроенные fixtures
• Отличный вывод при падениях

import pytest

def test_data_pipeline():
    data = load_data()
    assert len(data) > 0
    assert data['target'].isnull().sum() == 0

pytest-cov — измерение покрытия тестами:

pytest --cov=src --cov-report=html

hypothesis — property-based тестирование для генерации граничных случаев:

from hypothesis import given
import hypothesis.strategies as st

@given(st.lists(st.floats(min_value=0)))
def test_model_output_positive(predictions):
    assert all(p >= 0 for p in predictions)

Ноутбуки и исследование

Jupyter Lab — для EDA и экспериментов:

jupyter lab

nbstripout — удаляет вывод ячеек перед коммитом в git:

nbstripout notebook.ipynb

Quarto — для создания reproducible документов и отчётов.

Работа с данными

Pandas + Polars — Polars значительно быстрее на больших датасетах:

import polars as pl
df = pl.read_csv("large_data.csv")
result = df.filter(pl.col("value") > 100)

DuckDB — SQL запросы прямо на CSV/Parquet:

import duckdb
result = duckdb.query("SELECT * FROM 'data.parquet' WHERE age > 25").to_df()

Great Expectations — валидация качества данных:

from great_expectations import dataset
df_ge = dataset.PandasDataset(df)
df_ge.expect_column_values_to_be_in_set("status", ["active", "inactive"])

ML и аналитика

scikit-learn — классический стек для ML с отличной документацией.

XGBoost / LightGBM — для gradient boosting. LightGBM часто работает быстрее.

Optuna — байесовская оптимизация гиперпараметров:

import optuna

def objective(trial):
    lr = trial.suggest_float('lr', 1e-4, 1e-1, log=True)
    # train model...
    return accuracy

study = optuna.create_study()
study.optimize(objective, n_trials=100)

MLflow — трекинг экспериментов:

import mlflow
mlflow.log_param("learning_rate", 0.01)
mlflow.log_metric("accuracy", 0.95)
mlflow.log_model(model, "model")

Логирование и мониторинг

structlog — структурированное логирование вместо print():

import structlog
log = structlog.get_logger()
log.info("training_started", lr=0.01, batch_size=32)

loguru — упрощённое логирование с ротацией файлов:

from loguru import logger
logger.add("file_{time}.log", rotation="500 MB")
logger.info("Process started")

Контроль версий

git + GitHub/GitLab — обязательно для collaborative work.

pre-commit — автоматический запуск линтеров перед коммитом:

# .pre-commit-config.yaml
repos:
  - repo: https://github.com/psf/black
    rev: 23.7.0
    hooks:
      - id: black
  - repo: https://github.com/astral-sh/ruff-pre-commit
    rev: v0.0.280
    hooks:
      - id: ruff

Полезные утилиты

direnv — автоматическая активация conda окружения при входе в директорию.

make — для стандартизации частых команд:

.PHONY: test lint format

test:
	pytest tests/ -v

lint:
	black . && ruff check . --fix

format: lint

Вывод

Мой стек построен на двух принципах: скорость разработки (IDE, автоматизация) и качество кода (тестирование, типизация, линтеры). Я не следую религиозно одному инструменту — выбираю лучший для конкретной задачи.