V4.1-Flash-1017 のコミュニティおよびベンダーによる 22 個の量子化バージョンを1つにまとめ、GGUF、EXL3、MLX、GSQ、NVFP4 などのフォーマットをカバー。10-30 と比較すると、NVIDIA 10-30 が NVFP4 版をリリースし、turboderp の EXL3 に 2.68bpw が追加された。
ダウンロード数（合計） 2359927 · いいね数（合計） 1106
理由
- nvidia/DeepSeek-V4.1-Flash-1017-NVFP4：Model Optimizer を使用して、ルーティングされたエキスパートを元の MXFP4 から NVFP4（W4A4）に変換し、Engram 検索テーブルを FP8 から MXFP4 に変換。アテンション、共有エキスパート、視覚、MTP は元の精度を維持。カードには約 400 GiB（元は約 475 GiB）、48 個のシャード、MIT ライセンス、商用利用可と記載。
- NVIDIA が GB300 を4枚使用した vLLM での6項目のベンチマーク比較は、元の重みとほぼ同等（例：GPQA Diamond 92.93 対 92.77、Terminal-Bench 2.1 81.11 対 81.81）。エキスパート重みの変換は非可逆的であり、Engram の変換は可逆的であると明記されている。
- turboderp/DeepSeek-V4.1-Flash-1017-exl3 には現在 2.25bpw と 2.68bpw の2つのブランチがあり、依然として ExLlamaV3 v1.6.6 または dev ブランチが必要。追加の量子化レベルとベンチマークは後日追加予定。
使い方
- Blackwell データセンターカード：MXFP4 Engram サポートを含む vLLM ビルド（vllm-project/vllm#61530）を使用し、
vllm serve nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 --tensor-parallel-size 4 --tokenizer-mode deepseek\_v41 --kv-cache-dtype fp8 --reasoning-parser deepseek\_v41（完全なパラメータはカード参照）を実行。ツール呼び出しを追加する場合は--enable-auto-tool-choice --tool-call-parser deepseek\_v41を追加。 - 単一カード / コンシューマー向け：ExLlamaV3 v1.6.6 の後、
hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.68bpwを実行。CPU + 大容量メモリの場合は unsloth GGUF または ISTA-DASLab GSQ-RCO（llama.cpp b11870 以上）を検討。Apple チップの場合は mlx-community の oQ シリーズを検討。
リスク
- NVFP4 版は Blackwell のみサポートしており、公式 vLLM イメージでは読み込めないため、上記の PR をマージする必要がある。SGLang は検証されておらず、MTP 投機デコーディングもテストされていない。
- 公式リポジトリの議論 #33（非思考モードでシステムプロンプトがある場合、短い挨拶に対する約 47% の応答が乱れる問題。公式 API でも再現可能）は依然として open であり、公式による確認はない。turboderp のカードでも、短いプロンプトでの出力の乱れはモデル自体の問題である可能性が高いと警告している。その他の量子化の品質比較はすべて作者による自己テストであり、ダウンロード数は単に関心の高さを示すに過ぎない。