Sparse attention

Не все прошлые токены нужны напрямую

В causal attention запрос на позиции $i$ может видеть весь префикс $1,\dots ,i$. Локальное окно оставляет только последние $w$ позиций. Если $w$ фиксировано, число связей растёт как $nw$, а не как $n^2$.

Для одного и того же запроса найдите самые дальние доступные позиции в каждом паттерне. Затем сравните число связей. Одинаковый бюджет чтения обязательно даёт одинаковый доступ к контексту?

Экономия появляется не из-за прозрачных клеток на картинке, а потому, что запрещённые оценки действительно не вычисляются. Структура должна быть известна заранее и поддерживаться реализацией.

При постоянной ширине окна $w$ рост по длине контекста становится линейным.

Пример из LLMMistral 7BSliding window на 4096 позиций уменьшает стоимость длинного контекста.

Окно одного слоя — не предел модели

В первом слое токен получает сведения от ближайших соседей. Во втором — уже от соседей этих соседей. Поэтому receptive field (поле восприятия) расширяется с глубиной: локальные связи складываются в более длинный путь.

Начните с одного слоя локального окна и найдите недоступную дальнюю позицию. Увеличивайте глубину по одному слою до появления пути к ней. Затем смените топологию, сохранив глубину, и объясните разницу.

Глубина в работеMistral 7BПоследовательные слои позволяют информации выйти далеко за пределы одного окна.

Добавить несколько коротких путей

Чистое окно хорошо передаёт локальный контекст, но далёкие токены встречаются лишь через много слоёв. Поэтому к окну добавляют редкие дальние рёбра.

1. Dilated attentionСвязи идут на расстояния 1, 2, 4, 8 и быстро покрывают длинный префикс. Далеко, но не ко всем позициям.
2. Глобальные слои и токеныРедкие глобальные узлы или слои создают общие точки доступа. В causal-режиме используются только уже доступные позиции.
3. Гибридный паттернЛокальное окно сохраняет детали, редкие мосты сокращают дальние маршруты. Связей мало, но граф остаётся связным.

Исследовательская архитектураLongNetDilated attention связывает контекст на степенно растущих расстояниях. Пример из LLMGemma 2Архитектура чередует локальные и глобальные слои внимания. Гибридный паттернGPT-3Плотные и locally banded слои объединяют дальний обзор с локальной экономией.

Редкая матрица ещё не гарантирует скорость

GPU эффективнее выполняет крупные регулярные операции, чем множество отдельных умножений в случайных местах. Поэтому практический sparse attention часто работает не с одиночными связями, а с целыми блоками.

1. Нерегулярные связиМало арифметических операций, но множество мелких несмежных обращений к памяти.
2. Block-sparseТе же смысловые ограничения собраны в регулярные плитки, удобные для параллельного вычислителя.

Пример из LLMKimi · MoBAКонтекст делится на блоки, а каждый запрос выбирает лишь несколько наиболее релевантных.