Titre original : Diffuspace/Clover-35B-A3B-Preview
Le premier modèle de DiffuSpace : un modèle de langage à diffusion en texte pur, adapté de Qwen3.6-35B-A3B, conservant son architecture hybride Gated DeltaNet / MoE à attention complète (40 couches, 8 experts routés sélectionnés parmi 256, 1 experts partagés par couche), avec un total de 35B de paramètres, environ 3B activés par token, et une fenêtre de contexte de 128K. La génération s'effectue par blocs : chaque bloc commence entièrement masqué, les positions dont la confiance dépasse le seuil (par défaut 0.95) sont remplies en parallèle ; si aucune ne dépasse le seuil, la position la plus confiante est remplie. Une fois le bloc terminé, il devient le préfixe du bloc suivant (longueur de bloc par défaut : 32). Pour cela, des paramètres GDN apprenables ont été ajoutés, permettant aux tokens d'un même bloc de se voir mutuellement dans les deux sens, tout en maintenant la causalité pour le préfixe. Les auteurs affirment qu'au moment de la publication, c'était le meilleur modèle de langage à diffusion open source selon les benchmarks rapportés sur leur blog. Le dépôt a été créé le 24 10, il n'a donc pas été inclus dans les numéros précédents.
Score en hausse de 87 · J'aime 247 · Téléchargements 3572
Raisons
- Une version grande et directement exécutable des modèles de langage à diffusion : plusieurs tokens peuvent être déterminés en une seule passe ; au sein d'un bloc, il est possible d'utiliser uniquement un ensemble d'experts partagés (en cumulant les scores de routage jusqu'à 90%), ce qui réduit le nombre d'experts distincts appelés dans un même bloc.
- Nombreuses options de déploiement : inférence autonome via Transformers ; l'implémentation SGLang recommandée officiellement prend en charge le débruitage par diffusion par blocs et le décodage auto-spéculatif ; llama.cpp prend en charge le décodage auto-spéculatif (les deux étant soumis sous forme de PRs en amont).
- Licence Apache-2.0, conservation des mentions de copyright Qwen en amont et inclusion de notes de modification fichier par fichier ; 247 j'aime sur Hugging Face (indiquant uniquement le niveau d'attention).
Utilisation
- pip install "transformers==5.19.0" accelerate safetensors (PyTorch 2.10+), AutoModelForCausalLM.from_pretrained('Diffuspace/Clover-35B-A3B-Preview', trust_remote_code=True, dtype=torch.bfloat16, device_map='cuda:0'), lors de l'application de apply_chat_template, définir enable_thinking=True, puis generate(max_new_tokens=24576, block_size=32, threshold=0.95, do_sample=False). Les poids BF16 pèsent environ 69 GB, nécessitant un GPU capable de les charger.
- Les contrôles anti-répétition et de fin de génération sont intégrés à la configuration par défaut (presence_penalty 0.9, repetition_penalty 1.05, tendance progressive à la fin après 8192 tokens de réponse, et tendance progressive à la conclusion après 4096 tokens de réflexion), généralement aucun ajustement n'est nécessaire ; pour les services de production et les évaluations, utilisez l'implémentation SGLang officielle.
Risques
- Version Preview : ni la fiche du modèle ni le README ne listent les scores, les résultats des benchmarks ne figurent que dans les graphiques du blog officiel ; les auteurs mentionnent également que les générations très longues peuvent parfois se répéter.
- Le code des backends SGLang et llama.cpp ainsi que le code SFT sont marqués « à venir » dans le dépôt ; les sorties de la version Transformers et de SGLang peuvent différer en raison de variations numériques.
- Les requêtes dépassant 128K sont directement rejetées (y compris l'espace nécessaire pour compléter le dernier bloc complet).