Назовите несколько фреймворков для глубокого обучения

Фреймворки для глубокого обучения (Deep Learning Frameworks)

Top 5 главных фреймворков

1. TensorFlow + Keras

import tensorflow as tf
from tensorflow import keras

# Кераспроста сверху TensorFlow
model = keras.Sequential([
    keras.layers.Dense(128, activation='relu', input_shape=(784,)),
    keras.layers.Dropout(0.2),
    keras.layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')
model.fit(X_train, y_train, epochs=10)

# Преимущества: продакшн, мобильные устройства, TPU поддержка

2. PyTorch

import torch
import torch.nn as nn

class NeuralNetwork(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(784, 128)
        self.dropout = nn.Dropout(0.2)
        self.fc2 = nn.Linear(128, 10)
    
    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)
        return self.fc2(x)

model = NeuralNetwork()
optimizer = torch.optim.Adam(model.parameters())

# Преимущества: гибкость, research, динамический граф

3. JAX

import jax
import jax.numpy as jnp
from jax import grad, jit

# JAX: функциональное программирование + GPU
def loss_fn(params, x, y):
    predictions = model(params, x)
    return jnp.mean((predictions - y)**2)

grads = grad(loss_fn)(params, X, y)

# Преимущества: GPU-чёткий, vmap параллелизм, производительность

4. MXNet

import mxnet as mx
from mxnet import gluon, autograd

net = gluon.nn.Sequential()
with net.name_scope():
    net.add(gluon.nn.Dense(128, activation='relu'))
    net.add(gluon.nn.Dropout(0.2))
    net.add(gluon.nn.Dense(10))

net.initialize()

# Преимущества: масштабирование, AWS IntegrationWORKS

5. Caffe / Caffe2

Caffe:
- легаси фреймворк для компьютерного зрения
- использует конфиг файлы
- устаревает, мало новых проектов

Специализированные фреймворки

HuggingFace Transformers (NLP)

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')

inputs = tokenizer("Hello world!", return_tensors='pt')
outputs = model(**inputs)

# Преимущества: готовые BERT, GPT, T5 модели

PyTorch Lightning (Abstraction над PyTorch)

import pytorch_lightning as pl
from torch.utils.data import DataLoader

class LitModel(pl.LightningModule):
    def __init__(self):
        super().__init__()
        self.model = MyModel()
    
    def training_step(self, batch, batch_idx):
        x, y = batch
        y_hat = self.model(x)
        loss = F.cross_entropy(y_hat, y)
        return loss
    
    def configure_optimizers(self):
        return torch.optim.Adam(self.parameters())

trainer = pl.Trainer(max_epochs=10, gpus=1)
trainer.fit(model, train_loader)

# Преимущества: меньше boilerplate, распределённое обучение просто

FastAI (high-level API)

from fastai.vision.all import *

dls = ImageDataLoaders.from_folder(path, train='train', valid='valid')
learn = vision_learner(dls, resnet50, metrics=error_rate)

learn.fine_tune(1)  # fine-tuning за одну строку!

# Преимущества: простота, быстрое начало, best practices

Flax (JAX for DL)

import flax.linen as nn
from jax import random

class MLP(nn.Module):
    @nn.compact
    def __call__(self, x):
        x = nn.Dense(128)(x)
        x = nn.relu(x)
        x = nn.Dense(10)(x)
        return x

model = MLP()
params = model.init(random.PRNGKey(0), jnp.ones((1, 784)))

# Преимущества: функциональное программирование, JAX мощь

Сравнение фреймворков

Тренды 2024-2026

1. PyTorch доминирует в research

# 90% новых статей используют PyTorch
# Рост заинтересованности

2. JAX набирает популярность

# Функциональный подход, vmap, pmap
# Высокая производительность

3. HuggingFace Transformers стандарт для NLP

# Готовые модели, fine-tuning, inference
# 99% NLP проектов используют

4. TensorFlow для production

# TensorFlow Lite для мобильных
# TensorFlow Serving для масштабирования
# TPU оптимизация

Выбор фреймворка

Начинающий?
  → FastAI или Keras
    Простой синтаксис, быстрое обучение

Точка зрения research?
  → PyTorch
    Гибкость, динамический граф, сообщество

Производство (масштаб)?
  → TensorFlow
    Развёртывание, оптимизация, поддержка

Нужна максимальная производительность?
  → JAX
    vmap параллелизм, GPU-native

NLP / Transformer модели?
  → HuggingFace (чаще всего PyTorch backend)
    Готовые модели, fine-tuning, inference

Резюме

Top фреймворки:

1. TensorFlow/Keras — production, Google, масштаб
2. PyTorch — research, гибкость, популярность
3. JAX — высокая производительность, функциональный
4. FastAI — быстрое обучение, best practices
5. HuggingFace — NLP стандарт

Выбирай based на:

• Задача (NLP, CV, research)
• Уровень (начинающий, опытный)
• Требования (production, research, скорость)