原題:autotrust/Qwen3.8-Flash-Next-E384-FP4-V2
nvidia/Qwen3.8-Flash-Next-FP4-Local をベースにした非公式の軽量版:ニューラルアーキテクチャサーチ(NAS)を用いて、各デコーダーのMoE層およびMTP層で保持するルーティング専門家を選択し、512個から384個へ削減。top-10ルーティング、共有専門家、アテンション、ビジュアルタワー、トークナイザーは変更なし。重みサイズは102.14 GBから85.66 GBへ減少(約 −16.1%)。その後、検証可能な報酬を用いたGRPO形式のLoRA学習を3ラウンド実施(最終ラウンドはCVSSスコア補完と構造化された脆弱性検出出力を対象)し、完全なモデルとしてマージ済み。著者によると、単発の評価においてAIME 2026は95.0(参考値 93.3)、MMLU 87.37、GPQA-Diamond 75.76、MMMU 78.22は参考値よりわずかに低い結果となった。
なぜ重要か 同一のGPUでより多くのKVキャッシュや並列処理を収容可能。著者は通常の課題における成績と未修正の問題点をすべて列挙しており、判断材料として有用。
上昇スコア 69 · いいね 2439 · ダウンロード数 55866
理由
- 圧縮手法は通常の量子化とは異なる:すでにFP4である基础上でさらに専門家数を削減しており、トークンごとにアクティブ化する専門家数は変わらない
- 著者はB200 GPU1枚上でvLLM 0.31を用いて検証済みであり、完全な起動パラメータと移植可能なスクリプト serve_vllm.sh を提供している
使い方
- export PYTHONPATH="$PWD/vllm_patch" を実行した後、vllm serve . を実行。--quantization modelopt_mixed --kv-cache-dtype fp8 --reasoning-parser qwen3 --tool-call-parser qwen3_xml などのパラメータを付与(完全なコマンドはモデルカードを参照)
- リポジトリに含まれる vllm_patch/sitecustomize.py が必要。これがないと、このチェックポイントのFP4重みレイアウトを読み込めない
リスク
- 非公式の派生版であり、AlibabaおよびNVIDIAによる公式サポートはない。ライセンスはNVIDIA Open Model Agreement
- 著者はCVSS計算が依然として信頼性に欠けることを明記:完成した回答が参考実装と完全に一致するのは約4.5%(CVSS3)および4.2%(CVSS4)のみ
- 評価はすべて単発の実行であり、参考値はすでに公開されている数値から取得しており、同一条件での再実行ではない。本項目は未実行