原题:Flide: Accelerating Decision Inference with Exact State Forking
Jev 一类“决策模型”给智能体做选择题式的快速判断(给定状态,对每个选项输出概率),但 vLLM、SGLang 这类为生成设计的引擎处理这种请求时,要么反复重算共同前缀,要么输出概率失真。Flide 把一个决策请求的逻辑树和物理执行分开,在一条扁平的 token 流里用 ForkAttention 处理分支,同时支持标准注意力和 Gated DeltaNet 循环层,并保证每个分支的结果与单独前向完全一致;智能体不断变长的历史还能从之前保存的检查点续算。作者称比 vLLM 和 SGLang 最快 9.5 倍,且最接近 float32 参考结果。
为什么重要 智能体里大量“选哪个、要不要”的快速判断,用它比通用推理引擎更快,输出概率不失真
点赞 32 · 代码星数 386
理由
- 已发布 PyPI 包,支持 Qwen3.5、Gemma 4 和数十个开源决策模型家族,作者仍在持续加模型
- README 的邮件分类示例:一张 H200 上给 1 万封邮件各回答 8 个问题用时 28 秒
- --session-cache-gb 可保留之前请求的状态,智能体下一步只算新增内容
用法
- 代码:https://github.com/OmniJev/Flide;uv pip install flide torchvision 后 flide serve --model <模型名>
- 请求发到 /v1/systemone:state 写当前情况,questions 里写选择题或是非题
风险
- 只服务决策类请求(给选项打概率),不是通用文本生成引擎
- 各模型的加速倍数差别很大,README 表里从约 1.0 倍到 28.1 倍不等,均为作者在 H200 上测得
- 本条未运行