На каком языке писал сервисы вокруг моделей

Выбор языков программирования для ML сервисов

Python — главный язык для DS и ML

Основное использование Python абсолютно доминирует в разработке моделей машинного обучения. Это язык выбора для:

• Разработки и обучения моделей (scikit-learn, TensorFlow, PyTorch)
• Экспериментирования и прототипирования
• Анализа данных и EDA

Производство и API сервисы Когда модель готова, мы часто оборачиваем её в Python веб-сервис:

from fastapi import FastAPI
from pydantic import BaseModel
import joblib

app = FastAPI()
model = joblib.load('model.pkl')

class PredictionRequest(BaseModel):
    features: list[float]

@app.post("/predict")
async def predict(request: PredictionRequest):
    prediction = model.predict([request.features])
    return {"prediction": float(prediction[0])}

Популярные фреймворки: FastAPI, Flask, Django.

Java/Kotlin — для высоконагруженных систем

Когда используют Java На Java пишут продакшн-сервисы в крупных компаниях, где нужна:

• Высокая производительность и низкая latency
• Масштабируемость для миллионов запросов
• Стабильность (JVM с GC, множество сервис-меш инструментов)

ML в Java экосистеме

• DL4J (Deeplearning4j) — нативные нейросетки на Java
• XGBoost4j — Gradient Boosting для JVM
• ONNX Runtime Java — запуск моделей обученных в Python через ONNX формат
• Spark MLlib — распределённый ML на Java/Scala

// Пример: загрузка и использование модели ONNX
import ai.onnxruntime.*;

OrtEnvironment env = OrtEnvironment.getEnvironment();
OrtSession session = env.createSession("model.onnx");

FloatBuffer input = FloatBuffer.allocate(10);
// Загружаем данные
OrtSession.Result results = session.run(Collections.singletonMap("input", tensor));

Go — для высокоскоростных inference сервисов

Преимущества Go для ML сервисов

• Компилируется в один бинарный файл
• Быстрый старт, низкое потребление памяти
• Отличная параллельная обработка (goroutines)
• Простой deploy

ML в Go

• ONNX Runtime Go — запуск ONNX моделей
• TensorFlow Go API — привязки TensorFlow
• Gota — аналог Pandas для Go
• Чаще используют как обёртка для Python моделей через gRPC

// Пример: gRPC сервис для ML модели
package main

import (
    "context"
    "github.com/onnxruntime/onnxruntime-go/v2"
)

func (s *server) Predict(ctx context.Context, req *pb.PredictRequest) (*pb.PredictResponse, error) {
    // Загружаем ONNX модель
    session, _ := ort.NewDynamicSession("model.onnx")
    defer session.Close()
    
    // Делаем предсказание
    output, _ := session.Run(input)
    
    return &pb.PredictResponse{Prediction: output}, nil
}

C++ — для крайне высоконагруженных систем

Когда необходим C++

• Биржи, высокочастотный трейдинг (HFT) — требуется максимум перформанса
• Автоматизированные системы реального времени
• Встраиваемые системы, IoT
• Рекомендательные системы в соцсетях (Facebook, LinkedIn)

ML в C++

• TensorFlow C++ API — нативный TensorFlow
• LibTorch (PyTorch C++) — быстрая инфренс для PyTorch моделей
• ONNX C++ — стандартный формат для кросс-платформенных моделей

// Пример: инфренс с LibTorch (C++)
#include <torch/script.h>

int main() {
    torch::jit::script::Module module = torch::jit::load("model.pt");
    
    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(torch::randn({1, 10}));
    
    auto output = module.forward(inputs).toTensor();
    std::cout << output << std::endl;
}

Примеры архитектур в реальных компаниях

Яндекс, Mail.ru, Сбер (российские компании)

• Python: разработка моделей, экспериментирование
• C++: production inference (особенно для рекомендаций)
• Go: микросервисы, оркестрация
• Java: data pipeline, Spark jobs

Netflix, Uber, Airbnb (западные компании)

• Python: ML pipeline, training
• Java: Production serving, microservices
• Scala: Spark jobs
• Go: Infrastructure, monitoring

Типичный ML stack в компании

┌─────────────────────────────────────┐
│  Python (Model Development)         │
│  - Jupyter, scikit-learn, TensorFlow│
└──────────────┬──────────────────────┘
               │
          Обучаем модель
               │
        ┌──────▼──────────┐
        │ ONNX Format     │ ← Стандартный formат
        └──────┬──────────┘
               │
    ┌──────────┼──────────┐
    │          │          │
┌───▼───┐ ┌───▼──┐ ┌───▼────┐
│Python │ │ Java │ │  Go    │
│FastAPI│ │Spring│ │ gRPC   │
└───────┘ └──────┘ └────────┘
     ↓       ↓         ↓
    Prod serving по выбору

Выбор языка: практические рекомендации

• Стартап, MVP → Python (быстро прототипировать)
• Medium load → Python/FastAPI + async (хватит для миллионов запросов)
• High load, low latency → Go или Java
• Критичная производительность → C++
• Гибридный → Python для моделей, Go/Java для serving

На практике 80% ML-сервисов пишут на Python, потому что это оптимизирует время разработки, а для большинства бизнес-кейсов производительности достаточно.