Evolving Infra:按智能体负载在线调整的大模型推理服务

现有预填充 / 解码分离的推理服务难以在运行时调整算力分配和 KV 缓存,面对智能体负载容易出现两边负载不均、把还会复用的缓存清掉。Evolving Infra 把算力分配和 KV 缓存管理解耦:节点可以在几秒内在预填充和解码之间切换、不用重启,KV 缓存放在所有节点都能读的主机内存池里;在线规划器用覆盖子智能体和上下文管理的成本模型调整两边比例;分布式 KV 管理器按智能体的上下文管理信号清掉被压缩替换的历史和已结束子智能体的上下文。作者称在最多 256 张 GB300 上用 GLM-5.2 和 Kimi K2.6 跑编程、数学和电脑操作智能体,与 NVIDIA 的生产框架 Dynamo 相比,平均端到端延迟和 P95 首 token 时间分别最多降低 4.1 倍和 14 倍。

原题:Evolving Infra: Agent-Adaptive LLM Serving at Scale

现有预填充 / 解码分离的推理服务难以在运行时调整算力分配和 KV 缓存,面对智能体负载容易出现两边负载不均、把还会复用的缓存清掉。Evolving Infra 把算力分配和 KV 缓存管理解耦:节点可以在几秒内在预填充和解码之间切换、不用重启,KV 缓存放在所有节点都能读的主机内存池里;在线规划器用覆盖子智能体和上下文管理的成本模型调整两边比例;分布式 KV 管理器按智能体的上下文管理信号清掉被压缩替换的历史和已结束子智能体的上下文。作者称在最多 256 张 GB300 上用 GLM-5.2 和 Kimi K2.6 跑编程、数学和电脑操作智能体,与 NVIDIA 的生产框架 Dynamo 相比,平均端到端延迟和 P95 首 token 时间分别最多降低 4.1 倍和 14 倍。

为什么重要 编程、电脑操作等智能体会反复复用和压缩上下文,按这种负载调度能明显降低延迟,不需要离线测算

点赞 10 · 代码星数 12

理由

  • 纯在线自适应,不需要离线测算;README 另称吞吐最多为 Dynamo 的 2.7 倍
  • 仓库按“交给编程智能体操作”设计:部署、接入 Claude Code / Codex / Pi、复现论文、排错都写成了技能文件,附 x86_64 和 aarch64 运行镜像
  • 作者在抱脸放出了智能体请求轨迹数据集 crmsndu/evolving-infra-traces

用法

  • 代码:https://github.com/mit-han-lab/EvolvingInfra(MIT;引擎和路由核心源自 SGLang,保留 Apache-2.0)
  • 让编程智能体按 skills/deploy-stack/SKILL.md 部署模型,再按 skills/connect-harness/SKILL.md 把 Claude Code 或 Codex 接到路由地址

风险

  • 面向多机集群:复现论文结果一次要占九个 GPU 节点约两小时,单卡用户用不上
  • 对比对象只有 NVIDIA Dynamo,成绩为作者报告;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态