Внимание в LLM · часть 6

Квадратичная цена attention

Full attention (полное внимание) сравнивает каждый запрос с каждым ключом. Для $n$ токенов возникает $n^{2}$ оценок: контекст удваивается — работы становится примерно вчетверо больше. Это не случайная неэффективность реализации, а прямое следствие полной связности.

Увидеть квадрат →

Каждая пара требует оценки

В матрице $Q K^{⊤}$ строки соответствуют запросам, а столбцы — ключам. Один новый токен добавляет не одну ячейку, а новую строку и новый столбец. Поэтому сторона матрицы растёт линейно, а её площадь — квадратично.

Сначала сравните полный квадрат при длинах 4 и 8, затем включите причинную маску. Сосчитайте разрешённые пары в обоих случаях. Убирает ли треугольная форма квадратичный порядок роста?

n^{2}

У каждого из 4 запросов есть 4 ключей: всего 16 попарных оценок.

запрос 1 $q_{1}$ 4 ключей

запрос 2 $q_{2}$ 4 ключей

запрос 3 $q_{3}$ 4 ключей

запрос 4 $q_{4}$ 4 ключей

вычисляется16 / 16

16 оценокУдвоение n увеличивает число пар примерно в четыре раза

Показано начальное состояние. Включите JavaScript, чтобы пользоваться элементами управления.

Causal mask отсекает верхний треугольник, но меняет только постоянный множитель: вместо $n^{2}$ остаётся примерно половина квадрата.

Считать квадрат лучше — не значит убрать его

FlashAttention не хранит всю матрицу оценок в медленной памяти и обрабатывает её блоками. Это резко сокращает обмен данными, но каждая допустимая пара $q_{i}, k_{j}$ по-прежнему участвует в вычислении. Результат остаётся точным — и число операций остаётся квадратичным по длине контекста.

Обычная реализация $n \times n$ Матрица материализуется; дороги и вычисления, и промежуточная память.
FlashAttentionМатрица читается блоками; обмен с памятью меньше, но участвуют те же пары.

n^{2} или \frac{n (n + 1)}{2} \in Θ (n^{2})

Полная и causal-матрица различаются площадью, но принадлежат одному классу сложности.

Как перестать перебирать все пары

Конкретных архитектур много, но за ними стоят три основных хода. Можно оставить лишь часть связей, сжать память до небольшого числа представителей или заменить правило сходства так, чтобы сначала собрать общий итог по ключам и значениям.

Начните с точного вычисления и по очереди сравните с ним остальные способы. Для каждого решите, меняются ли доступные связи, представление памяти или само правило вычисления весов. Какая экономия совместима с сохранением исходного результата?

n^{2}

Сохранить все пары. Порядок вычисления можно улучшить, но ни одна связь не исчезает.

запрос 1 $q_{1}$ 16 ключей

запрос 3 $q_{3}$ 16 ключей

запрос 5 $q_{5}$ 16 ключей

запрос 7 $q_{7}$ 16 ключей

запрос 10 $q_{10}$ 16 ключей

запрос 12 $q_{12}$ 16 ключей

запрос 14 $q_{14}$ 16 ключей

запрос 16 $q_{16}$ 16 ключей

256 обращенийвесь контекст; точный full attention

Показано начальное состояние. Включите JavaScript, чтобы пользоваться элементами управления.

Разредить графSparse attention (разрежённое внимание) оставляет окно, выбранные блоки или глобальные токены.
Сжать памятьМножество ключей и значений заменяется $m ≪ n$ представителями.
Факторизовать правилоСначала строится компактный итог по $K, V$ , затем к нему обращаются запросы.

Сэкономленная работа имеет цену

Full attention позволяет любой позиции напрямую обратиться к любой другой. Именно эту свободу альтернативы ограничивают, сжимают или описывают иной математической формой.

Sparse attentionПреимущество: сохраняет детали доступных токенов. Цена: дальняя связь может отсутствовать.
Сжатая памятьПреимущество: сохраняет глобальный обзор. Цена: часть мелких различий теряется.
Linear attentionПреимущество: масштабируется линейно по n. Цена: меняет ядро и характер выбора.