Les versions communautaires quantifiées / packagées de V4.1-Flash-1017 sont regroupées en une seule entrée, avec actuellement 24 versions, couvrant des formats tels que GGUF (unsloth, ISTA DASLab, etc.), EXL3, MLX et NVIDIA NVFP4. Par rapport à la dernière compilation (10-31), la nouveauté dans cette fenêtre est le GSQ-RCO Coder publié par le laboratoire DASLab de l'Institut autrichien de science et de technologie (ISTA) le 11-02 : basé sur sa version quantifiée IQ2_XXS, il supprime 192 experts routés sur les 384 par couche, en sélectionnant les experts conservés selon des données de calibration pour le code, les appels d'outils agentiques, le contexte long et la vision.
Téléchargements (total) 3296957 · J'aime (total) 1464
Raisons
- L'auteur indique : les poids Transformer du Coder pèsent 72.12 Go (la version IQ2_XXS non élaguée pèse 138.2 Go), soit environ 1.05 bit par paramètre selon les paramètres du modèle original ; les deux tables de recherche Engram de 110.6 Go sont partagées avec la version non élaguée et sont lues ligne par ligne depuis le disque à chaque token, ce qui permet de ne pas les maintenir en mémoire permanente, pour un téléchargement total de 182.72 Go.
- Les évaluations de code fournies par l'auteur (intensité de raisonnement 50) : SWE-bench Verified passe de 81.20 pour le modèle original à 77.00 (conservation de 94.8%), LiveCodeBench v6 passe de 89.71 à 88.57 (conservation de 98.7%) ; les experts sont sélectionnés conjointement par la méthode RCO selon la divergence KL du modèle entier, plutôt que par un score d'importance couche par couche, et la liste des experts conservés par couche est publiée dans le dépôt.
- Les autres branches du récapitulatif n'ont pas changé ; le Coder est la seule nouvelle branche apparue dans cette fenêtre, et c'est la première fois que cette rubrique présente une version compressée de V4.1 avec « élagage d'experts par usage ».
Utilisation
- llama.cpp nécessite la version b11870 ou plus récente : hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF --include "IQ2_XXS/*" "*Engram*", puis liez les fichiers Engram comme le 6e shard (la fiche fournit les commandes ln -s et mklink /H pour Windows), pointez llama-cli -m vers le 1e shard et ajoutez -ngl 99.
- Si vous avez déjà téléchargé la version GSQ-RCO non élaguée, les fichiers Engram et le projeteur visuel mmproj sont identiques, aucun nouveau téléchargement n'est nécessaire ; pour la vision, ajoutez --mmproj, et pour l'intensité de raisonnement, utilisez --reasoning on --reasoning-effort 50.
- Pour un usage généraliste sans biais vers le code, l'auteur recommande la version GSQ-RCO non élaguée ; pour les autres formats (unsloth GGUF, EXL3, MLX, NVFP4), consultez les pages des différentes branches dans le récapitulatif.
Risques
- L'auteur précise qu'il s'agit d'une publication expérimentale : supprimer la moitié des experts entraîne inévitablement une perte de capacités, et la dégradation des compétences hors code / appels d'outils / contexte long / vision est le coût de la méthode ; la fiche ne fournit que deux évaluations de code ; les étapes d'exécution et les chiffres de mémoire vidéo pour un moteur Strata sur une seule carte restent à compléter (TBD) dans la fiche.
- Tous les scores sont auto-testés par l'auteur avec une intensité de raisonnement 50, sans reproduction par des tiers ; il faut toujours une combinaison mémoire / mémoire vidéo capable de contenir environ 72 Go de poids et environ 183 Go d'espace disque, et placer les tables Engram sur un disque externe ralentira le pré-remplissage.