Qwen3.8-Flash-Next 精简版:砍掉四分之一路由专家

基于 nvidia/Qwen3.8-Flash-Next-FP4-Local 的非官方精简版:用神经架构搜索挑出每个解码器 MoE 层和 MTP 层保留的路由专家,从 512 个减到 384 个;top-10 路由、共享专家、注意力、视觉塔和分词器不变。权重从 102.14 GB 降到 85.66 GB(约 −16.1%)。之后又做了三轮带可验证奖励的 GRPO 式 LoRA 训练(最后一轮针对 CVSS 评分补全和结构化漏洞发现输出),并已合并成完整模型。作者称单次评测中 AIME 2026 为 95.0(参考值 93.3)、MMLU 87.37,GPQA-Diamond 75.76、MMMU 78.22 略低于参考值。

原题:autotrust/Qwen3.8-Flash-Next-E384-FP4-V2

基于 nvidia/Qwen3.8-Flash-Next-FP4-Local 的非官方精简版:用神经架构搜索挑出每个解码器 MoE 层和 MTP 层保留的路由专家,从 512 个减到 384 个;top-10 路由、共享专家、注意力、视觉塔和分词器不变。权重从 102.14 GB 降到 85.66 GB(约 −16.1%)。之后又做了三轮带可验证奖励的 GRPO 式 LoRA 训练(最后一轮针对 CVSS 评分补全和结构化漏洞发现输出),并已合并成完整模型。作者称单次评测中 AIME 2026 为 95.0(参考值 93.3)、MMLU 87.37,GPQA-Diamond 75.76、MMMU 78.22 略低于参考值。

为什么重要 同一张卡能放下更多 KV 缓存或并发;作者把常规题目成绩和没修好的问题都列了出来,便于判断

上升分 69 · 点赞 2439 · 下载量 55866

理由

  • 压缩方式和普通量化不同:在已是 FP4 的基础上再减专家数量,每个 token 激活的专家数不变
  • 作者在一张 B200 上用 vLLM 0.31 验证过,给出完整启动参数和可移植脚本 serve_vllm.sh

用法

  • export PYTHONPATH="$PWD/vllm_patch" 后 vllm serve .,带 --quantization modelopt_mixed --kv-cache-dtype fp8 --reasoning-parser qwen3 --tool-call-parser qwen3_xml 等参数(完整命令见模型卡)
  • 需要仓库自带的 vllm_patch/sitecustomize.py,否则读不了这个检查点的 FP4 权重布局

风险

  • 非官方衍生版,阿里和英伟达都未背书;许可为 NVIDIA Open Model Agreement
  • 作者明说 CVSS 计算仍不可靠:已完成回答与参考实现完全一致的只有约 4.5%(CVSS3)和 4.2%(CVSS4)
  • 评测都是单次运行,参考值取自已发布数字、并非同条件重跑;本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态