Les 22 versions quantifiées communautaires et éditeur de V4.1-Flash-1017 sont regroupées en une seule entrée, couvrant les formats GGUF, EXL3, MLX, GSQ, NVFP4, etc. ; par rapport à 10-30, NVIDIA 10-30 a publié une version NVFP4, et turboderp a ajouté un palier 2.68bpw pour EXL3.
Téléchargements (total) 2359927 · J'aime (total) 1106
Raisons
- nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 : utilise Model Optimizer pour convertir les experts routés du format source MXFP4 vers NVFP4 (W4A4), la table de recherche Engram du format FP8 vers MXFP4, tandis que l'attention, les experts partagés, la vision et MTP conservent leur précision d'origine ; la fiche indique environ 400 GiB (source environ 475 GiB), 48 fragments, licence MIT, usage commercial autorisé.
- NVIDIA a testé six comparaisons sur quatre cartes GB300 avec vLLM, obtenant des résultats quasi identiques aux poids sources (par ex. GPQA Diamond 92.93 contre 92.77, Terminal-Bench 2.1 81.11 contre 81.81), et précise que la conversion des poids des experts est sans perte, tandis que celle d'Engram est avec perte.
- turboderp/DeepSeek-V4.1-Flash-1017-exl3 propose actuellement deux branches, 2.25bpw et 2.68bpw, nécessitant toujours ExLlamaV3 v1.6.6 ou la branche dev ; d'autres paliers et évaluations suivront.
Utilisation
- Cartes de centre de données Blackwell : utilisez une construction vLLM avec prise en charge d'Engram MXFP4 (vllm-project/vllm#61530), vllm serve nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 --tensor-parallel-size 4 --tokenizer-mode deepseek_v41 --kv-cache-dtype fp8 --reasoning-parser deepseek_v41 (voir la fiche pour les paramètres complets) ; pour l'appel d'outils, ajoutez --enable-auto-tool-choice --tool-call-parser deepseek_v41.
- Carte unique / grand public : après ExLlamaV3 v1.6.6, hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.68bpw ; pour CPU + grande mémoire, consultez unsloth GGUF ou ISTA-DASLab GSQ-RCO (llama.cpp b11870 ou supérieur) ; pour les puces Apple, consultez la série oQ de mlx-community.
Risques
- La version NVFP4 ne prend en charge que Blackwell, l'image vLLM officielle ne peut pas la charger, il faut intégrer la PR ci-dessus ; SGLang n'est pas vérifié, le décodage spéculatif MTP n'a pas été testé.
- La discussion #33 du dépôt officiel (en mode non-réflexif, avec un prompt système, les réponses courtes aux salutations d'environ 47% tokens sont incohérentes, reproductible via l'API officielle) est toujours ouverte, sans confirmation officielle ; la fiche turboderp rappelle également que les sorties incohérentes avec des prompts courts sont probablement dues au modèle lui-même. Les comparaisons de qualité des autres quantifications sont des tests personnels des auteurs, les téléchargements ne reflètent que l'intérêt.