На чем основан механизм внимания у трансформеров

Механизм внимания в трансформерах

Механизм внимания (Attention Mechanism) — это ключевая составляющая архитектуры трансформеров, позволяющая модели избирательно фокусироваться на различных частях входных данных при обработке каждого элемента последовательности.

Основная идея

В классическом подходе (RNN, LSTM) модель обрабатывает последовательность шаг за шагом, что создает проблему: информация о ранних элементах может потеряться при обработке длинных последовательностей. Внимание решает эту проблему, позволяя каждому элементу "смотреть" на все остальные элементы одновременно и определить, какие из них наиболее релевантны.

Архитектура внимания: Query-Key-Value

Механизм внимания основан на трех компонентах:

import torch
import torch.nn.functional as F

class Attention(torch.nn.Module):
    def __init__(self, d_model):
        super().__init__()
        self.d_model = d_model
    
    def forward(self, Q, K, V, mask=None):
        # Q: Query (запрос) - что ищем
        # K: Key (ключ) - по чему ищем
        # V: Value (значение) - что возвращаем
        
        # Вычисляем веса внимания
        scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(self.d_model))
        
        # Применяем маску (опционально)
        if mask is not None:
            scores = scores.masked_fill(mask == 0, float('-inf'))
        
        # Нормализуем через softmax
        attention_weights = F.softmax(scores, dim=-1)
        
        # Взвешенная сумма значений
        output = torch.matmul(attention_weights, V)
        
        return output, attention_weights

Компоненты подробнее

Query (Q): представляет "вопрос" или то, что мы ищем в последовательности. Для каждой позиции создается свой Query, который определяет, на какие позиции нужно смотреть.

Key (K): представляет "подписи" всех элементов в последовательности. Keys позволяют вычислить степень совпадения между Query и каждым элементом.

Value (V): содержит фактические значения информации. После определения весов внимания мы берем взвешенную сумму значений.

Процесс вычисления

1. Скалярное произведение: вычисляем скалярное произведение Query с каждым Key
2. Масштабирование: делим на √d_k для стабилизации градиентов
3. Softmax: применяем softmax для получения вероятностной матрицы (сумма = 1)
4. Взвешивание: умножаем веса на Values и суммируем

Multi-Head Attention

В реальных трансформерах используется многоголовочное внимание (Multi-Head Attention), которое позволяет модели одновременно "смотреть" на данные с разных "углов зрения" (разных подпространств). Это улучшает представительность модели.

Почему это работает

• Параллелизм: вся последовательность обрабатывается одновременно (в отличие от RNN)
• Длинные зависимости: любая позиция может "видеть" любую другую позицию независимо от расстояния
• Интерпретируемость: веса внимания можно визуализировать и понять, на что модель смотрит
• Гибкость: механизм работает как для самовнимания (self-attention), так и для кросс-внимания