В чём разница между GPT и BERT?

В чём разница между GPT и BERT?

GPT и BERT — это две революционные архитектуры на основе трансформеров, которые кардинально изменили обработку естественного языка. Несмотря на общую основу (Transformer), они имеют принципиальные различия в задачах, архитектуре и применении.

BERT (Bidirectional Encoder Representations from Transformers)

BERT был разработан Google в 2018 году. Основная идея: предварительное обучение на больших текстовых корпусах с использованием двух самоконтролируемых задач.

Архитектура и подход

from transformers import BertTokenizer, BertModel
import torch

# Загрузка предобученной модели
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# Пример использования
text = "Hello, my dog is cute."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# last_hidden_state содержит представления всех токенов
last_hidden_state = outputs.last_hidden_state
print(last_hidden_state.shape)  # [1, 10, 768]

Ключевые характеристики BERT:

1. Двусторонний контекст: BERT использует ТОЛЬКО encoder часть трансформера. При обработке токена учитывается контекст ДО и ПОСЛЕ него. Это называется masked language modeling (MLM).

2. Предобучение на MLM: во время предобучения случайные токены маскируются (заменяются на [MASK]), и модель учится их предсказывать, глядя на оба направления.

3. Next Sentence Prediction (NSP): вторая задача предобучения — предсказание, идёт ли одно предложение после другого.

4. Энкодер-only архитектура: BERT может кодировать произвольный текст в плотные векторные представления.

Применение BERT

from transformers import BertForSequenceClassification

# Fine-tuning для классификации текста
model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased',
    num_labels=2  # binary classification
)

# Fine-tuning для других задач: NER, question-answering
from transformers import BertForTokenClassification, BertForQuestionAnswering

Типичные применения BERT:

• Классификация текстов
• Извлечение информации (NER — Named Entity Recognition)
• Ответы на вопросы
• Поиск семантического сходства
• Кластеризация текстов

GPT (Generative Pre-trained Transformer)

GPT был разработан OpenAI (серия: GPT-1, GPT-2, GPT-3, GPT-4). Основная идея: предсказание следующего токена на основе предыдущих токенов.

Архитектура и подход

from transformers import GPT2Tokenizer, GPT2LMHeadModel

# Загрузка предобученной модели
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')

# Пример использования
inputs = tokenizer("Hello, my dog is", return_tensors="pt")
outputs = model.generate(**inputs, max_length=50)
generated_text = tokenizer.decode(outputs[0])
print(generated_text)  # Автоматически дополнит текст

Ключевые характеристики GPT:

1. Причинная (каузальная) маска: GPT использует ТОЛЬКО decoder часть трансформера. При обработке токена учитывается только контекст ДО него (left-to-right).

2. Автарегрессивное предсказание: модель обучается предсказывать следующий токен на основе всех предыдущих. Это позволяет генерировать текст токен за токеном.

3. Decoder-only архитектура: отличается от BERT тем, что может как кодировать, так и декодировать (генерировать).

4. Простая задача предобучения: одна задача — next token prediction на огромных текстовых корпусах.

# Генерация текста с GPT
inputs = tokenizer("Artificial intelligence", return_tensors="pt")
outputs = model.generate(
    **inputs,
    max_length=100,
    num_beams=5,  # beam search
    temperature=0.7,  # контролирует случайность
    top_k=50,  # top-k sampling
    top_p=0.95  # nucleus sampling
)
generated_text = tokenizer.decode(outputs[0])

Типичные применения GPT:

• Генерация текста
• Создание диалогов (chatbots)
• Дописывание кода
• Summarization
• Машинный перевод
• Few-shot learning (с GPT-3)

Сравнение BERT и GPT

Практическое сравнение

import torch
from transformers import BertTokenizer, BertModel
from transformers import GPT2Tokenizer, GPT2LMHeadModel

text = "The cat sat on the"

# BERT: для классификации или понимания
bert_tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
bert_model = BertModel.from_pretrained('bert-base-uncased')
inputs = bert_tokenizer(text, return_tensors="pt")
outputs = bert_model(**inputs)
# Можем использовать [CLS] токен для классификации
cls_embedding = outputs.last_hidden_state[:, 0, :]  # представление всего текста

# GPT: для генерации
gpt_tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
gpt_model = GPT2LMHeadModel.from_pretrained('gpt2')
inputs = gpt_tokenizer(text, return_tensors="pt")
outputs = gpt_model.generate(**inputs, max_length=20)
generated = gpt_tokenizer.decode(outputs[0])
print(generated)  # "The cat sat on the mat. The..."

Гибридные подходы

Современные модели часто используют оба подхода:

• T5 (Text-to-Text Transfer Transformer): encoder-decoder архитектура (как BERT + decoder)
• BART: encoder-decoder с различными стратегиями маскирования
• RoBERTa: улучшенная версия BERT

from transformers import T5Tokenizer, T5ForConditionalGeneration

# T5 может кодировать и декодировать
model = T5ForConditionalGeneration.from_pretrained('t5-base')
tokenizer = T5Tokenizer.from_pretrained('t5-base')

# Пример: перефразирование
text = "translate English to German: The house is wonderful."
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0]))  # Das Haus ist wunderbar.

Итог

• BERT: лучше для задач понимания текста. Быстрее в инференсе, требует меньше памяти. Хорошо fine-tunится для specific tasks.
• GPT: лучше для генерации текста и интерактивных систем. Может работать с few-shot learning. Требует больше вычислительных ресурсов.

Выбор зависит от задачи: если нужно классифицировать или анализировать текст — BERT; если нужна генерация — GPT.