作者把全部路由专家先以 IQ2 级压缩格式放进显卡,再按使用频率逐个换成 NVIDIA 官方 NVFP4 包里的权重,直到放不下为止:15360 个路由专家里有 6087 个保持 NVFP4 精度,在测量的样本中承担了 79% 到 85% 的解码路由。作者称 11 月 13 日的版本单请求生成速度约每秒 117.7 个 token,代码类长度 1K 到 256K 时每秒 143 到 175 个 token,下一个 token 与 NVFP4 参考一致的比例为 95.1%;比同作者更快的 Volta sPLIt 慢,但更接近官方精度。
为什么重要 按每字节的使用频率决定哪些专家保留原精度,所有专家都放在显存里不走 PCIe;速度、精度和失败的尝试都按日期公开,便于复现。
星数 18
理由
- 仓库 11 月 10 日创建,代码和文档 Apache-2.0 许可;读过 README,每个数字都标了测量日期、条件和原始记录
- README 单列了「没成功或还不够好」的部分,例如快速读提示的质量尚未确认
用法
- 需要两块 4 卡 NVLink 板共 8 张 V100-SXM2-32GB:按 README 编译引擎,下载 556 GB 的抱脸包并用 SHA256SUMS 校验,再用 serve_hot_iq.sh 启动
风险
- 硬件门槛高,普通用户无法复现;速度和精度数字都来自作者自己的机器
- 默认开启的快速读提示会改变输出,作者注明其质量尚未确认