原题:LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
长上下文解码时 KV 缓存随长度线性增长,限制了批大小和吞吐。LowRAM 发现同一注意力头里的值大多能由对应的键预测,于是在推理时为每个头拟合一个小预测器、只为预测最差的 token 存残差,再配合跨层低秩压缩键;基座权重不动,预测器可用元学习初始化来减少预填充开销。作者称值缓存可近无损压缩 4 倍,4 倍压缩下峰值解码吞吐最高提高 5 倍,叠加量化和淘汰后在长上下文上达到 26.9 倍压缩、保留 94.5% 的基线表现。
为什么重要 长上下文推理的显存主要被 KV 缓存占用;这套方法不改基座权重,还能和现有量化、淘汰方案叠加
点赞 10 · 代码星数 1
理由
- 针对长上下文部署的显存和吞吐瓶颈,和量化、token 淘汰是互补方向,可以叠加使用
- 仓库提供 Transformers 兼容的 CompressedCache 实现、Llama-3.1-8B 和 Mistral-7B 的预测器检查点及可运行示例
- README 写明各项结果来自不同实验设置,没有混成一个配置来宣传
用法
- 代码:https://github.com/lowram-model/lowram;预测器检查点随仓库用 Git LFS 下载(git lfs pull)
- 先用 python -m examples.lowram_demo --method fast 和 --method baseline 对比;在自己的代码里把 CompressedCache 作为 past_key_values 传给 model.generate
风险
- 目前只支持 Llama 和 Mistral 架构,默认的 Llama-3.1-8B-Instruct 需要先在抱脸申请访问
- README 说明吞吐提升是不同批大小下的峰值比较,小批量时不压缩的基线更快
- 预填充阶段要拟合预测器,有额外开销;本条未运行