LowRAM: Предсказание значений по ключам для сжатия KV-кэша длинного контекста

При декодировании длинного контекста KV-кэш линейно растет с длиной, что ограничивает размер пакета и пропускную способность. LowRAM обнаружил, что значения в одном и том же слое внимания в большинстве случаев могут быть предсказаны соответствующими ключами. Поэтому во время вывода для каждого слоя внимания обучается небольшой предиктор, а остаток сохраняется только для наихудших токенов; дополнительно применяется межслойное низкоранговое сжатие ключей. Веса базовой модели не изменяются, а предикторы могут быть инициализированы с помощью метаобучения для снижения накладных расходов на предзаполнение. Авторы утверждают, что кэш значений можно сжать почти без потерь в 4 раз, при сжатии в 4 раз пиковая пропускная способность декодирования увеличивается до 5 раз, а при сочетании с квантованием и удалением токенов достигается сжатие в 26.9 раз на длинных контекстах с сохранением 94.5% базовой производительности.

Оригинальное название: LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time

При декодировании длинного контекста KV-кэш линейно растет с длиной, что ограничивает размер пакета и пропускную способность. LowRAM обнаружил, что значения в одном и том же слое внимания в большинстве случаев могут быть предсказаны соответствующими ключами. Поэтому во время вывода для каждого слоя внимания обучается небольшой предиктор, а остаток сохраняется только для наихудших токенов; дополнительно применяется межслойное низкоранговое сжатие ключей. Веса базовой модели не изменяются, а предикторы могут быть инициализированы с помощью метаобучения для снижения накладных расходов на предзаполнение. Авторы утверждают, что кэш значений можно сжать почти без потерь в 4 раз, при сжатии в 4 раз пиковая пропускная способность декодирования увеличивается до 5 раз, а при сочетании с квантованием и удалением токенов достигается сжатие в 26.9 раз на длинных контекстах с сохранением 94.5% базовой производительности.

Почему это важно Основная часть памяти GPU при выводе на длинном контексте занята KV-кэшем; этот метод не изменяет веса базовой модели и может сочетаться с существующими решениями по квантованию и удалению токенов

Лайков 10 · Звезд на GitHub 1

Причины

  • Решает проблемы с памятью GPU и пропускной способностью при развертывании на длинном контексте; метод является взаимодополняющим с квантованием и удалением токенов, их можно использовать совместно
  • Репозиторий предоставляет совместимую с Transformers реализацию CompressedCache, чекпоинты предикторов для Llama-3.1-8B и Mistral-7B, а также рабочие примеры
  • В README указано, что результаты получены в различных экспериментальных настройках, без смешивания конфигураций для маркетинговых целей

Использование

  • Код: загрузка через Git LFS (https://github.com/lowram-model/lowram;预测器检查点随仓库用) (git lfs pull)
  • Сначала сравните результаты, выполнив python -m examples.lowram_demo --method fast и --method baseline; в собственном коде передавайте CompressedCache в качестве past_key_values в model.generate

Риски

  • В настоящее время поддерживаются только архитектуры Llama и Mistral; для доступа к модели Llama-3.1-8B-Instruct по умолчанию необходимо предварительно запросить доступ на Hugging Face
  • В README указано, что улучшение пропускной способности основано на сравнении пиковых значений при разных размерах пакетов; при малых пакетах несжатый базовый вариант работает быстрее
  • На этапе предзаполнения требуется обучение предикторов, что вносит дополнительные накладные расходы; в данном случае тестирование не проводилось

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ