Внимание в LLM · часть 9

Сжатая память

«Сжать attention» можно двумя принципиально разными способами. Первый уменьшает число позиций: много токенов превращаются в несколько memory slots (ячеек памяти). Второй сохраняет каждую позицию, но записывает её ключи и значения через узкий latent-вектор.

Сравнить два сжатия →

Сократить позиции или ширину записи

Контекст можно представить как таблицу: одна ось отвечает за позиции $n$ , другая — за размер представления $d$ . Сжатие любой оси экономит память, но только уменьшение числа позиций сокращает количество попарных сравнений.

Сначала сосчитайте сохраняемые позиции и размер записи одной позиции. Переключите ось сжатия и определите, какая из этих величин изменилась. Что потребуется восстановить, чтобы снова обратиться к отдельному исходному токену?

n \to m

Сжатие позиций16 позиций превращаются в 4 ячейки памяти; одна сторона attention-матрицы становится короче.

ячейка 1 $M_{1}$ позиции 1–4

ячейка 2 $M_{2}$ позиции 5–8

ячейка 3 $M_{3}$ позиции 9–12

ячейка 4 $M_{4}$ позиции 13–16

Осталось 25% исходной памяти64 оценки вместо 256

Показано начальное состояние. Включите JavaScript, чтобы пользоваться элементами управления.

Много токенов становятся несколькими сводками

Небольшой набор latent-запросов читает длинный вход через cross-attention и собирает $m$ сводных представлений. Дальнейшие слои работают уже с ними, поэтому при $m ≪ n$ основная стоимость зависит от $n m$ , а не от $n^{2}$ .

Z = Attention (L, X, X)

Z \in R^{m \times d}, m ≪ n

Latent-запросы $L$ сворачивают $n$ входных позиций $X$ в $m$ ячеек памяти.

ДоКаждый факт хранится отдельно.
ПослеНесколько фактов разделяют одну сводку.
РискТочная деталь может исчезнуть при смешивании.

Исследовательский примерPerceiver ARCross-attention сворачивает длинный вход в небольшое число latent-позиций и сохраняет причинный порядок с помощью маски.

Каждая позиция остаётся, но хранится компактнее

Multi-head Latent Attention (MLA) сначала проецирует скрытое состояние токена в низкоразмерный $c_{t}^{K V}$ . Полные ключи и значения разных голов можно восстановить из этого общего latent-представления, поэтому в кэше достаточно хранить компактный вектор и небольшую позиционную часть ключа.

Полное состояние $h_{t}$
Общий latent $c_{t}^{K V}$
Восстановление для голов $K_{1}, V_{1}; \dots; K_{H}, V_{H}$

c_{t}^{K V} = W^{D K V} h_{t}

k_{t, h}^{C} = W_{h}^{U K} c_{t}^{K V}

v_{t, h}^{C} = W_{h}^{U V} c_{t}^{K V}

Проекция в узкое пространство создаёт общий latent; отдельные проекции голов восстанавливают нужные $K, V$ .

Первое применениеDeepSeek-V2MLA сжимает KV-кэш в latent-вектор; в отчёте указано сокращение кэша на 93,3%. Популярная LLMDeepSeek-V3Архитектура наследует MLA для эффективного вывода и длинного контекста.

У каждого сжатия — своё узкое место

Сжатие полезно лишь пока узкое представление сохраняет информацию, необходимую будущим запросам. Но две оси сжатия теряют разные вещи.

Сжатие позицийсокращает число оценок сходства; смешивает несколько токенов в одной сводке
MLAуменьшает KV-кэш и обмен с памятью; ограничивает ширину представления каждой позиции
Гибридможет экономить обе оси; усложняет обучение и восстановление деталей