Les 18 versions communautaires quantifiées / packagées de V4.1-Flash-1017 sont regroupées en une seule entrée, couvrant les formats GGUF, EXL3, MLX, GSQ, etc. ; par rapport à 10-28, turboderp 10-29 a ouvert un nouveau dépôt EXL3, et unsloth, ISTA-DASLab et mlx-community ont également mis à jour leurs fichiers entre 10-28 et 10-29.
Téléchargements (total) 2081926 · J'aime (total) 928
Raisons
- Le dépôt turboderp/DeepSeek-V4.1-Flash-1017-exl3 a été créé le 10-29 ; il ne propose actuellement qu'un seul niveau de quantification (2.25bpw, situé dans la branche 2.25bpw). La fiche indique la nécessité d'ExLlamaV3 v1.6.6 ou de la branche dev ; d'autres niveaux et évaluations suivront.
- Les fichiers GGUF d'unsloth ont fait l'objet de commits successifs entre 10-28 et 10-29 intitulés « Better versions / Better quants update » ; la fiche précise que le niveau minimal de 1 bits fonctionne sur des machines disposant de plus de 128 Go de mémoire, que le niveau 3 bits nécessite 256 Go et que la précision complète demande 320 Go, en utilisant la PR llama.cpp correspondante ou Unsloth Desktop.
- Le GSQ-RCO GGUF d'ISTA-DASLab du 10-27 utilise désormais la disposition DeepSeek-V4.1 de llama.cpp b11870 et versions ultérieures ; le script de conversion du 10-28 vérifie désormais individuellement les SHA-256 officiels publiés et signale une erreur en cas de téléchargement corrompu ; le modèle oQ3e-ngram-mtp de mlx-community du 10-29 a augmenté la précision des projections d'attention et d'indexeur à 8 bits.
Utilisation
- GPU NVIDIA + ExLlamaV3 : installez v1.6.6 ou la branche dev, puis exécutez hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.25bpw.
- CPU + grande mémoire : utilisez les GGUF d'unsloth en suivant leur guide avec la PR llama.cpp ; le GSQ-RCO d'ISTA-DASLab nécessite llama.cpp b11870 ou supérieur (le moteur Delta reçu le 10-29 peut également le charger). Pour les puces Apple, consultez la série oQ de mlx-community.
Risques
- La fiche de turboderp avertit : les sorties erratiques avec des prompts courts sont probablement dues au modèle lui-même, et renvoie vers la discussion #33 dans le dépôt officiel — les utilisateurs de la communauté signalent qu'en mode non-réflexif, avec un prompt système, environ 47% des réponses à de courtes salutations comme « hello » sont erratiques, ce qui est également reproductible via l'API officielle ; cette discussion reste ouverte et n'a pas été confirmée par les développeurs officiels.
- Il s'agit entièrement de quantifications communautaires ; les comparaisons de qualité entre les différentes versions sont basées sur les tests des auteurs ; le nombre total de téléchargements sur 30 jours ne reflète que le niveau d'intérêt.