RidgeFill:免训练跳过上层计算,加快长提示预填充

长提示的预填充要把每一层都完整算一遍。RidgeFill 只把下层完整算到某个分界层,再用每层一个岭回归映射,从分界层的状态预测上面各层的输入,让上层据此直接写入缓存;映射用一段校准文本一次性闭式拟合,不训练、不丢 token,指定的行、最后几千个提示 token 和所有解码步骤仍跑完整模型。思路来自 YOCO 和 DeepSeek-V4.1-Flash 里训练进模型的投影,RidgeFill 把它改装到没训练过这种结构的模型上。作者称 Qwen3.8-27B 在 llama.cpp 分支、单张 A100 上 16K–120K token 的首字时间快 1.25–1.31 倍,RULER 和 LongBench v2 降 1.2–1.4 分;Qwen3.8-Flash-Next 在 vLLM 上快 1.50–1.60 倍。

原题:RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill

长提示的预填充要把每一层都完整算一遍。RidgeFill 只把下层完整算到某个分界层,再用每层一个岭回归映射,从分界层的状态预测上面各层的输入,让上层据此直接写入缓存;映射用一段校准文本一次性闭式拟合,不训练、不丢 token,指定的行、最后几千个提示 token 和所有解码步骤仍跑完整模型。思路来自 YOCO 和 DeepSeek-V4.1-Flash 里训练进模型的投影,RidgeFill 把它改装到没训练过这种结构的模型上。作者称 Qwen3.8-27B 在 llama.cpp 分支、单张 A100 上 16K–120K token 的首字时间快 1.25–1.31 倍,RULER 和 LongBench v2 降 1.2–1.4 分;Qwen3.8-Flash-Next 在 vLLM 上快 1.50–1.60 倍。

为什么重要 不改模型、不训练就能缩短长上下文的首字等待,llama.cpp 分支和映射文件都可下载

点赞 2 · 代码星数 0

理由

  • 针对长上下文部署的首字延迟,和 KV 量化、token 淘汰等方案方向不同
  • 所有结论都能用仓库数据复算:每个数字对应脚本和文件,运行记录带哈希链
  • Qwen3.8-27B、Qwen3.8-Flash-Next 和三个 8–9B 参考模型的映射文件已放在抱脸 TheCacheIsALie 组织下

用法

  • 数据与代码:https://github.com/Approximate-Science/ridgefill-data;推理用 llama.cpp 分支 Approximate-Science/llama.cpp-ridgefill
  • 只想核对结论:bash recompute/run_all.sh 后用 recompute/gate.py 比对,只需要 Python 和 numpy

风险

  • 作者说明质量下降的 95% 置信区间虽然包含零,但不能排除几分的损失
  • Flash-Next 用的 vLLM 分支源码未公开,只有公开镜像;仓库以数据和复现脚本为主
  • 论文发在 Zenodo,arXiv 摘要和 README 的个别数字不一致;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态