原题:MMFlash: Faster Speculative Decoding for Vision-Language Models
投机解码让轻量草稿模型先提出一串 token,再由目标模型并行验证;DFlash 这类扩散草稿模型一次前向就能提出整块 token,但主要面向纯文本。作者用“有图 / 无图时下一个 token 分布的 KL 散度”衡量每个 token 对画面的依赖,发现依赖最低的四分之一 token 接受率为 46%,最高的四分之一只有 22%,多模态训练后差距仍在。MMFlash 在训练时加大这类 token 的权重,长视频输入再用稀疏注意力减少冗余计算。论文称在多个多模态基准上无损提速最多 3.58 倍,比 EAGLE-3 和 DFlash 分别高出最多 195.4% 和 17.1%。
为什么重要 看图问答、视频理解的解码更快且输出不变;草稿权重已放出,原版 SGLang 和 vLLM 就能直接加载
点赞 35 · 代码星数 22
理由
- 草稿模型不重新编码图像或视频,直接读目标模型已融合画面信息的隐藏状态,开销不随视觉 token 数增加
- 已放出 Qwen3.5-4B、Qwen3.5-9B、Qwen3.8-27B 和 Gemma 4 E4B-it 四个目标模型的草稿权重,每个模型卡附部署命令和分基准成绩
- 仓库含数据重生成、视觉依赖打分、训练、导出和评测全流程,同一套配置也能训练 DFlash 基线做对照
用法
- 代码:https://github.com/fscdc/MMFlash(MIT);草稿权重在抱脸 FSCCS 账号的 MMFlash 合集
- 部署不需要这个仓库:用原版 SGLang 或 vLLM 起目标模型(如 Qwen/Qwen3.5-4B),投机算法选 DFLASH、草稿模型填 FSCCS/Qwen3.5-4B-MMFlash,再按 OpenAI 兼容接口发带图请求
风险
- 草稿模型不能单独使用,必须和对应的目标模型配对,目前只支持四个目标模型
- README 的提速数据在单张 H200、批大小 1、贪心解码下测得,和论文摘要的口径不完全相同;训练需要打过补丁的 SGLang 和 Mooncake
- 成绩为作者报告;本条未运行