Late Entry:让循环语言模型少走几遍

循环语言模型把同一组层每个 token 重复跑 T 遍,用较少参数换更深的推理,但遍数直接变成逐词解码延迟。常见的提前退出只跑前几遍,过去 token 的 KV 缓存也只有浅层。论文反过来做“晚进入”:新 token 跳过前面的遍数,只走最后 K 遍,但看的是完整深度的上下文缓存;轻量微调解决入口处隐藏状态范数不匹配后,晚进入在各模型和遍数预算下都优于同等的提前退出。为了不为补全深缓存停顿,已提交的 token 在后续步骤里顺带跑完全部遍数,再在原有输出矩阵乘里做“唤醒校验”:容差为 0 时与完整深度贪心解码逐字一致,容差无穷时不回滚、速度最快。论文称 Ouro-2.6B 上严格等价模式提速 5.2 倍,Huginn-3.5B 在 64 遍时提速 8.4 倍。

原题:Late Entry in Looped Language Models

循环语言模型把同一组层每个 token 重复跑 T 遍,用较少参数换更深的推理,但遍数直接变成逐词解码延迟。常见的提前退出只跑前几遍,过去 token 的 KV 缓存也只有浅层。论文反过来做“晚进入”:新 token 跳过前面的遍数,只走最后 K 遍,但看的是完整深度的上下文缓存;轻量微调解决入口处隐藏状态范数不匹配后,晚进入在各模型和遍数预算下都优于同等的提前退出。为了不为补全深缓存停顿,已提交的 token 在后续步骤里顺带跑完全部遍数,再在原有输出矩阵乘里做“唤醒校验”:容差为 0 时与完整深度贪心解码逐字一致,容差无穷时不回滚、速度最快。论文称 Ouro-2.6B 上严格等价模式提速 5.2 倍,Huginn-3.5B 在 64 遍时提速 8.4 倍。

为什么重要 循环模型的推理深度直接变成逐词延迟;作者给出可选的严格等价模式,输出和完整深度贪心解码一致,同时提速数倍

点赞 9 · 代码星数 1

理由

  • 放出 5 个检查点:Ouro-2.6B、Ouro-1.4B、Huginn-3.5B 的晚进入版,以及作对照的提前退出版,代码 MIT
  • 附 SGLang 0.5.14 插件和多请求连续批处理执行器;README 称单卡 H100 上 Huginn-3.5B 演示比原生完整深度解码快 8.5 倍且答案一致
  • 有不需要显卡、约 45 秒跑完的 CPU 等价性测试,可先核对“逐字一致”的说法

用法

  • 代码:https://github.com/Xalp/LateComer;权重合集:https://huggingface.co/collections/Xalphinions/late-entry
  • pip install -r requirements.txt;python tests/run_all_cpu_tests.py 跑 CPU 等价性测试;Ouro 用 wake_verify/run_ouro_wake.py、Huginn 用 python -m wake_verify.hg_wake 复现论文表格

风险

  • 只适用于 Ouro、Huginn 这类循环(层共享)语言模型,对普通 Transformer 不适用,且要先做两阶段微调
  • 不回滚的有损模式准确率会下降(README:Ouro-2.6B 在 GSM8K 上从 0.868 降到 0.842);测速都在单张 H100 上,本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态