Какие задачи использовались для обучения BERT?

Задачи обучения BERT

BERT (Bidirectional Encoder Representations from Transformers) — революционная модель в обработке естественного языка. Его обучение использовало две основные задачи, которые позволили модели изучить глубокие представления текста.

1. Masked Language Modeling (MLM)

Суть задачи:

BERT маскирует 15% случайных токенов в тексте и пытается их предсказать, используя контекст слева и справа.

Как это работает:

# Исходный текст
text = "The quick brown fox jumps over the lazy dog"

# Маскирование 15% токенов
masked_text = "The [MASK] brown [MASK] jumps over the lazy dog"

# BERT должен предсказать: quick, fox

Детализация процесса маскирования:

15% маскируемых токенов распределяются так:
- 80% заменяются на [MASK]
- 10% заменяются на случайное слово
- 10% остаются без изменений

Пример:
Исходное: The quick brown fox
С маскированием:
- 80%: The [MASK] brown fox
- 10%: The dog brown fox (случайное слово)
- 10%: The quick brown fox (без изменений)

Это заставляет модель не полагаться на токен [MASK]

Реализация на Python (концептуально):

from transformers import BertTokenizer, BertForMaskedLM
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForMaskedLM.from_pretrained('bert-base-uncased')

text = "The quick brown fox"
tokens = tokenizer(text, return_tensors='pt')

# Маскирование 15% токенов
masked_lm_labels = tokens['input_ids'].clone()
masked_indices = torch.rand(tokens['input_ids'].shape) < 0.15
masked_lm_labels[~masked_indices] = -100  # Игнорируем при потере

# Предсказание
outputs = model(
    tokens['input_ids'],
    masked_lm_labels=masked_lm_labels
)
loss = outputs.loss

Почему это эффективно:

• Модель изучает двусторонний контекст (слева И справа)
• Это отличает BERT от моделей типа GPT, которые используют однонаправленный контекст
• Глубокое понимание семантики и синтаксиса

2. Next Sentence Prediction (NSP)

Суть задачи:

BERT обучается предсказывать, идет ли вторая сентенция после первой в исходном тексте, или это случайная сентенция из corpus.

Как это работает:

Задача 1: IsNext (Правильная пара)
Сентенция A: "The man went to the store."
Сентенция B: "He bought a gallon of milk."
Label: IsNext (1)

Задача 2: NotNext (Неправильная пара)
Сентенция A: "The man went to the store."
Сентенция B: "The penguins are swimming."
Label: NotNext (0)

Формат входа BERT:

[CLS] Сентенция A [SEP] Сентенция B [SEP]

[CLS] — специальный токен для классификации
[SEP] — разделитель между сентенциями

Реализация:

from transformers import BertTokenizer, BertForNextSentencePrediction

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForNextSentencePrediction.from_pretrained('bert-base-uncased')

sentence_a = "The man went to the store."
sentence_b = "He bought a gallon of milk."

inputs = tokenizer(
    sentence_a,
    sentence_b,
    return_tensors='pt'
)

outputs = model(**inputs, labels=torch.tensor([1]))  # Label: IsNext
loss = outputs.loss
logits = outputs.logits  # [batch_size, 2]

Важность NSP:

• Помогает модели понять отношения между сентенциями
• Критична для задач типа Question Answering и Paraphrase Detection
• Позволяет моделировать длинные документы

3. Данные для обучения

Datasets:

• BookCorpus (800 млн слов)
• English Wikipedia (2500 млн слов)

Размер предварительного обучения:

• Всего ~3.3 млрд слов
• На 16 TPU'шках обучалась 4 дня
• Batch size: 256 (всего ~1 млн шагов)

Процесс обучения BERT

# Концептуальный процесс
class BERTPretraining:
    def __init__(self):
        self.model = BERTModel()
        self.mlm_loss = CrossEntropyLoss()
        self.nsp_loss = CrossEntropyLoss()
    
    def forward(self, input_ids, masked_lm_labels, next_sentence_label):
        # Получаем выходы модели
        sequence_output, pooled_output = self.model(input_ids)
        
        # MLM loss
        mlm_logits = self.lm_head(sequence_output)
        mlm_loss = self.mlm_loss(
            mlm_logits[masked_lm_labels != -100],
            masked_lm_labels[masked_lm_labels != -100]
        )
        
        # NSP loss
        nsp_logits = self.classifier(pooled_output)
        nsp_loss = self.nsp_loss(
            nsp_logits,
            next_sentence_label
        )
        
        # Total loss
        total_loss = mlm_loss + nsp_loss
        return total_loss

# Обучение
for batch in dataset:
    loss = model.forward(
        input_ids=batch['input_ids'],
        masked_lm_labels=batch['masked_lm_labels'],
        next_sentence_label=batch['next_sentence_label']
    )
    loss.backward()
    optimizer.step()

Стратегия маскирования в деталях

Пример: "The quick brown fox jumps"

Шаг 1: Выбираем токены для маскирования (15%)
Выбранные: "quick" (позиция 1), "jumps" (позиция 4)

Шаг 2: Для каждого токена:
"quick" -> 80% -> [MASK]
"jumps" -> 10% -> случайный токен (например "dog")

Результат:
80%: "The [MASK] brown fox dog"
10%: "The dog brown fox dog"
10%: "The quick brown fox jumps"

BERT обучается предсказывать оригинальные токены

Отличие от других подходов

Word2Vec:

• Контекстные окна (обычно ±5 слов)
• Простые эмбеддинги

ELMo:

• Двусторонние LSTM
• Контекстные, но менее глубокие

BERT:

• Трансформер архитектура
• Полный двусторонний контекст
• 12+ слоев глубины

Результаты предварительного обучения

BERT научилась:

1. Грамматика: POS-теги, синтаксис
2. Семантика: синонимы, антонимы, отношения
3. Информация: факты, именованные сущности
4. Логика: причина-следствие, сравнение

Как BERT используется дальше

# Fine-tuning на специфичную задачу
from transformers import BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased',
    num_labels=2  # Бинарная классификация
)

# Обучаем на новых данных (обычно 3-4 эпохи)
for epoch in range(3):
    for batch in train_loader:
        outputs = model(
            batch['input_ids'],
            attention_mask=batch['attention_mask'],
            labels=batch['labels']
        )
        loss = outputs.loss
        loss.backward()
        optimizer.step()

Вариации BERT

• RoBERTa: улучшенное обучение с другим маскированием
• DistilBERT: сжатая версия (40% меньше параметров)
• ALBERT: параметры поделены между слоями
• Multilingual BERT: для 104 языков
• Domain-specific: SciBERT, ClimateBERT, FinBERT

Ключевые выводы

1. MLM (Masked Language Modeling) — основная задача, учит двусторонний контекст
2. NSP (Next Sentence Prediction) — вспомогательная задача, учит отношения между сентенциями
3. Двусторонний контекст — главное отличие от предыдущих моделей
4. Масштаб — обучение на 3.3 млрд слов дало невероятные результаты
5. Transfer Learning — предварительное обучение + fine-tuning — мощная парадигма

BERT произвела революцию в NLP благодаря простоте но эффективности этих двух задач обучения.