Linear attention

Не считать каждую пару отдельно

Обычный causal attention для каждого нового запроса заново просматривает всё прошлое. Linear attention сначала сворачивает ключи и значения в одну компактную сводку, а затем применяет к ней запрос. Число шагов растёт вместе с длиной контекста, а не с её квадратом.

Зафиксируйте длину контекста и сравните режимы «Пары» и «Сводка». Какие промежуточные данные нужны каждому? Затем увеличьте длину и объясните, почему перестановка умножений возможна для показанного ядра, но не переносится автоматически на softmax.

Скобки можно переставить

Обозначим через $\varphi$ признаковое отображение (feature map), одинаково применяемое к запросам и ключам. Тогда сходство запроса $q$ и ключа $k$ записывается как $\varphi (q{)}^{\mathrm{\top }}\varphi (k)$.

Заглавные $Q,K,V$ обозначают сразу все запросы, ключи и значения. Ассоциативность позволяет сначала собрать одну сводку ключей и значений, а уже затем применить к ней запросы.

$(\varphi (Q)\varphi (K{)}^{\mathrm{\top }})V$сначала все пары запрос–ключ

$\varphi (Q)(\varphi (K{)}^{\mathrm{\top }}V)$сначала одна сводка ключ–значение

В causal-режиме строчные $q_t,k_t,v_t$ относятся только к позиции $t$. Будем хранить накопленное содержание в $S_t$, а накопленную нормировку — в $z_t$.

Каждый токен один раз обновляет оба состояния. Числитель читает содержание, а знаменатель приводит результат к правильному масштабу.

Основополагающая работаLinear TransformerАвторы показали, как признаковое отображение ядра (kernel feature map) и ассоциативность устраняют квадрат по длине.

Контекст становится обновляемой памятью

В causal-режиме сводку не нужно пересчитывать. Каждый токен один раз дописывает в неё свой вклад; следующий запрос читает уже обновлённое состояние. Поэтому linear attention можно исполнять как рекуррентную сеть — с постоянным объёмом памяти относительно длины контекста.

1. Пришёл токен$k_t,v_t$
2. Обновили память$S_t,z_t$
3. Получили ответ$y_t$

Фиксированное состояние смешивает прошлое

Полный attention (full attention) хранит отдельный адрес для каждой позиции. Linear attention сворачивает весь контекст в состояние фиксированного размера. Когда похожих записей становится много, они начинают делить одни и те же направления памяти: старый факт может примешаться к новому.

1. Отдельные позицииможно вернуться к конкретному токену; память растёт с контекстом
2. Общее состояниеразмер не зависит от длины текста; записи могут смешиваться
3. Новый фактдобавляется за один шаг; старый не исчезает автоматически

Популярная LLMMiniMax-Text-01Lightning Attention используется для работы с контекстом до миллиона токенов при обучении.