Что такое fine-tuning?

Fine-tuning в машинном обучении

Fine-tuning — это процесс адаптации предварительно обученной модели к специфической задаче путём дополнительного обучения на целевом датасете.

Основной концепт

Fine-tuning основан на трансфере обучения (transfer learning). Предварительно обученная модель уже содержит знания, полученные из больших объёмов данных. Основная идея:

1. Взять модель, обученную на общих данных (например, BERT на Wikipedia или GPT-2)
2. Заморозить большую часть слоёв (они уже знают общие паттерны)
3. Обучить последние слои на специфичных для задачи данных

from transformers import AutoModelForSequenceClassification, AutoTokenizer, Trainer, TrainingArguments
import torch

# Загружаем предобученную модель
model = AutoModelForSequenceClassification.from_pretrained(
    "bert-base-uncased",
    num_labels=2
)
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

# Подготовка данных для fine-tuning
train_encodings = tokenizer(train_texts, truncation=True, padding=True)
train_dataset = torch.utils.data.TensorDataset(
    torch.tensor(train_encodings["input_ids"]),
    torch.tensor(train_encodings["attention_mask"]),
    torch.tensor(train_labels)
)

# Настройка обучения
training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=16,
    learning_rate=2e-5,
    warmup_steps=500
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset
)

trainer.train()

Типы fine-tuning

1. Full fine-tuning — обучаются все параметры модели:

• Требует много памяти GPU
• Время обучения дольше
• Даёт лучший результат при достаточно большом датасете

2. Parameter-efficient fine-tuning (PEFT):

• LoRA (Low-Rank Adaptation) — добавляются небольшие адаптеры
• Adapter layers — вставляются промежуточные слои
• Prefix/Prompt tuning — замораживаются все параметры, обучаются только префиксы

from peft import get_peft_model, LoraConfig

lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.1
)
model = get_peft_model(model, lora_config)

Различия между fine-tuning и обучением с нуля

Когда использовать fine-tuning

Применяется когда:

• Есть узкоспециализированная задача (медицина, финансы, технический текст)
• Ограниченный датасет (100-10K примеров)
• Нужно быстро получить результат
• Ресурсы ограничены

Примеры:

• Классификация документов компании
• Анализ тональности в специфичном домене
• Извлечение сущностей из технических текстов
• Генерация ответов на вопросы из вашего FAQ

Вызовы и решения

Переобучение (overfitting) — модель заучивает маленький датасет:

• Использовать regularization, dropout
• Рано остановить обучение (early stopping)
• Применить data augmentation

Катастрофическое забывание — модель теряет общие знания:

• Использовать низкий learning rate
• Обучать несколько эпох, а не много
• Применить continual learning техники

Fine-tuning — это мощный инструмент, позволяющий эффективно адаптировать современные модели ИИ к специфичным задачам с минимальными временными и финансовыми затратами.