Какие знаешь паттерны проектирования?

Паттерны проектирования в Data Science

Введение

Паттерны проектирования — это проверенные временем решения для типичных задач при разработке ML систем. В Data Science они помогают построить масштабируемые, поддерживаемые и надёжные решения. Расскажу о наиболее важных паттернах, которые использую в практике на протяжении 10+ лет.

Архитектурные паттерны

Pipeline Pattern

Это один из самых важных паттернов для DS. Данные проходят через последовательность обработки:

class DataPipeline:
    def __init__(self):
        self.stages = []
    
    def add_stage(self, stage):
        self.stages.append(stage)
        return self
    
    def execute(self, data):
        result = data
        for stage in self.stages:
            result = stage.transform(result)
        return result

pipeline = DataPipeline()
pipeline.add_stage(DataValidation()) \
        .add_stage(FeatureEngineering()) \
        .add_stage(Scaling()) \
        .add_stage(ModelInference())

predictions = pipeline.execute(raw_data)

Преимущества: модульность, переиспользование, простота тестирования.

Strategy Pattern

Позволяет переключаться между алгоритмами во время выполнения:

class ModelStrategy:
    def predict(self, X):
        raise NotImplementedError

class RandomForestStrategy(ModelStrategy):
    def __init__(self):
        self.model = RandomForestRegressor()
    
    def predict(self, X):
        return self.model.predict(X)

class GradientBoostingStrategy(ModelStrategy):
    def __init__(self):
        self.model = XGBRegressor()
    
    def predict(self, X):
        return self.model.predict(X)

Этот паттерн удобен для выбора разных моделей и методов валидации.

Observer Pattern

Используется для отслеживания прогресса обучения:

class TrainingObserver:
    def on_epoch_end(self, epoch, metrics):
        pass

class MetricsLogger(TrainingObserver):
    def on_epoch_end(self, epoch, metrics):
        print(f"Epoch {epoch}: loss={metrics[\"loss\"]}, acc={metrics[\"acc\"]}")

Паттерны для работы с данными

Factory Pattern

Для создания различных типов обработчиков данных:

class DataLoaderFactory:
    @staticmethod
    def create_loader(source_type):
        if source_type == "csv":
            return CSVDataLoader()
        elif source_type == "database":
            return DatabaseDataLoader()
        elif source_type == "api":
            return APIDataLoader()

Singleton Pattern

Для создания единственного экземпляра критичных объектов (кэши, конфигурация):

class ModelRegistry:
    _instance = None
    
    def __new__(cls):
        if cls._instance is None:
            cls._instance = super().__new__(cls)
            cls._instance.models = {}
        return cls._instance

Decorator Pattern

Для добавления функциональности (логирование, кэширование, валидация):

def validate_input(func):
    def wrapper(self, X):
        if X is None or len(X) == 0:
            raise ValueError("Input data is empty")
        return func(self, X)
    return wrapper

class Model:
    @validate_input
    def predict(self, X):
        return self.model.predict(X)

Заключение

Правильное применение паттернов критично для поддерживаемости ML кода. Они помогают снизить техдолг, упростить тестирование и облегчить масштабирование. Главное — не переусложнить и выбирать паттерны в соответствии с реальными потребностями проекта.