LowRAM:用键预测值,压缩长上下文 KV 缓存

长上下文解码时 KV 缓存随长度线性增长,限制了批大小和吞吐。LowRAM 发现同一注意力头里的值大多能由对应的键预测,于是在推理时为每个头拟合一个小预测器、只为预测最差的 token 存残差,再配合跨层低秩压缩键;基座权重不动,预测器可用元学习初始化来减少预填充开销。作者称值缓存可近无损压缩 4 倍,4 倍压缩下峰值解码吞吐最高提高 5 倍,叠加量化和淘汰后在长上下文上达到 26.9 倍压缩、保留 94.5% 的基线表现。

原题:LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time

长上下文解码时 KV 缓存随长度线性增长,限制了批大小和吞吐。LowRAM 发现同一注意力头里的值大多能由对应的键预测,于是在推理时为每个头拟合一个小预测器、只为预测最差的 token 存残差,再配合跨层低秩压缩键;基座权重不动,预测器可用元学习初始化来减少预填充开销。作者称值缓存可近无损压缩 4 倍,4 倍压缩下峰值解码吞吐最高提高 5 倍,叠加量化和淘汰后在长上下文上达到 26.9 倍压缩、保留 94.5% 的基线表现。

为什么重要 长上下文推理的显存主要被 KV 缓存占用;这套方法不改基座权重,还能和现有量化、淘汰方案叠加

点赞 10 · 代码星数 1

理由

  • 针对长上下文部署的显存和吞吐瓶颈,和量化、token 淘汰是互补方向,可以叠加使用
  • 仓库提供 Transformers 兼容的 CompressedCache 实现、Llama-3.1-8B 和 Mistral-7B 的预测器检查点及可运行示例
  • README 写明各项结果来自不同实验设置,没有混成一个配置来宣传

用法

  • 代码:https://github.com/lowram-model/lowram;预测器检查点随仓库用 Git LFS 下载(git lfs pull)
  • 先用 python -m examples.lowram_demo --method fast 和 --method baseline 对比;在自己的代码里把 CompressedCache 作为 past_key_values 传给 model.generate

风险

  • 目前只支持 Llama 和 Mistral 架构,默认的 Llama-3.1-8B-Instruct 需要先在抱脸申请访问
  • README 说明吞吐提升是不同批大小下的峰值比较,小批量时不压缩的基线更快
  • 预填充阶段要拟合预测器,有额外开销;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态