16 versions quantifiées communautaires des poids officiels V4.1-Flash-1017, couvrant GGUF (llama.cpp et plusieurs moteurs dédiés), EXL3 (vLLM multi-GPU / exllamav3), MLX et les formats dédiés à Apple Silicon ; cette fois-ci, les fiches de modèle ont été examinées une par une, sans inclusion de versions désalignées ou fine-tunées.
Téléchargements (cumulés) 1515552 · J'aime (cumulés) 843
Raisons
- Le GGUF GSQ-RCO d'ISTA-DASLab propose trois niveaux : IQ1_M, IQ2_XXS et IQ2_XS (environ 231–266 GB au total). Après la mise à jour 10-27, il peut être chargé avec la version principale b11870 ou supérieure de llama.cpp, y compris avec entrée d'image ; l'auteur affirme que IQ2_XXS est à égalité avec la version originale sur AIME25, GPQA-Diamond et LiveCodeBench v6 (tests de l'auteur, effort de raisonnement 50).
- Pour les machines disposant de 128 Go de mémoire, plusieurs options existent : l'auteur indique que Maya-XS (moteur Project Maya) occupe 115.3 Go de mémoire résidente ; la version Q2 GGUF de ds4 est conçue pour le streaming depuis le SSD des Mac de 128 Go ; unsloth affirme que la version 1 bits la plus petite nécessite plus de 128 Go de mémoire.
- Pour le multi-GPU, il existe des solutions EXL3 : la version de diffbot est destinée à 2 cartes RTX PRO 6000, et la version franken-v100 à 8 cartes V100 32 Go ; la version 2.9 bpw de LibertAI inclut un chat_template.jinja porté depuis l'encodeur officiel, que l'auteur affirme identique à l'implémentation de référence sur 8,455 cas d'usage.
- Les téléchargements et les j'aime cumulés ne reflètent que l'attention portée.
Utilisation
- llama.cpp : hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF --include "*IQ2_XXS*" "*Engram*" --local-dir ., créez des liens symboliques pour les fichiers Engram comme le 6e fragment selon la fiche de modèle, puis chargez avec llama-cli -m …-00001-of-00006.gguf.
- Apple Silicon : oQ4e / oQ2.5e (oMLX) de mlx-community ou Sushi-STQ 1.75bpw de beamster (nécessite sushi v1.4.0+, macOS 26.2+).
- La plupart des paquets EXL3 n'incluent pas les deux tables Engram ; il faut récupérer séparément les fragments 47 et 48 (environ 95 GiB chacun) depuis le dépôt officiel.
Risques
- Même la version la plus petite, avec les tables Engram, pèse plusieurs centaines de Go ; Engram doit être placé sur un SSD rapide ; les moteurs et branches requis varient selon les dépôts (la version de mrfakename exige toujours une branche spécifique de llama.cpp, la version unsloth nécessite sa PR ou Unsloth Desktop) ; consultez la fiche de modèle correspondante avant le téléchargement.
- Les chiffres de qualité (KLD, taux de concordance top-1, scores de benchmark) sont tous des tests effectués par les auteurs eux-mêmes, avec des méthodologies différentes ; la version lossless-CSF utilise une licence LIL personnalisée et nécessite un chargeur dédié.