Обозначения

Перечень обозначений

$\mathrm{score}$ — Оценка совместимости

Скалярная оценка совместимости запроса и ключа.

$\mathrm{Attention}$ — Механизм внимания

Операция внимания над матрицами запросов, ключей и значений.

$\mathrm{softmax}$ — Нормировка softmax

Экспоненциальная нормировка набора оценок в вероятностные веса.

$\mathrm{head}$ — Голова внимания

Одна независимо параметризованная голова многоголового внимания.

$\mathrm{Concat}$ — Конкатенация голов

Объединение выходов голов по канальному измерению.

$\mathrm{MultiHead}$ — Многоголовое внимание

Полный оператор многоголового внимания.

$\mathrm{sim}$ — Мера сходства

Функция сходства запроса и представителя блока.

$\overline{k}$ — Средний ключ блока

Агрегированный ключ, представляющий один разреженный блок.

$\mathrm{TopK}$ — Выбор TopK

Оператор выбора элементов с наибольшими оценками.

$\mathbb{R}$ — Вещественные числа

Поле вещественных чисел.

$\varphi$ — Признаковое отображение

Одно и то же преобразование запросов и ключей, позволяющее переставить порядок вычислений в linear attention.

$S$ — Состояние содержания

Накопленная матрица, в которой linear attention хранит совместные вклады ключей и значений.

$z$ — Состояние нормировки

Накопленный вектор признаков ключей, нормирующий чтение из состояния содержания.

$\hat{v}$ — Предсказанное значение

Значение, прочитанное из текущего состояния памяти до коррекции.

$(-{)}^{\mathrm{\top }}$ — Транспонирование

Операция транспонирования вектора или матрицы.