Titre original : tencent/Qwen3.8-27B-DSpine-b16
Modèle de brouillon DSpine à cinq couches entraîné par Tencent pour Qwen3.8-27B, destiné au décodage spéculatif : génération parallèle de jetons de brouillon, chaque couche transmet les caractéristiques précédentes prédites aux positions adjacentes, la dépendance causale étant propagée via la profondeur du réseau. Taille de bloc 16, fenêtre glissante de 8,192 jetons. Les tests officiels effectués sur SGLang montrent une longueur d'acceptation moyenne supérieure pour chaque tâche par rapport à DFlash2 ; lors des rejeux d'agents sur WorkBuddy (code / web / bureautique), SWE-bench Pro et τ²-bench, le débit de bout en bout est d'environ 2.7 à 3.8 fois celui du décodage autorégressif standard.
Pourquoi c'est important Augmente le débit d'inférence sans changer le modèle principal, idéal pour déployer Qwen3.8-27B avec SGLang afin d'exécuter des tâches d'agents et de code
Score de progression 146 · J'aime 148 · Téléchargements 1464
Raisons
- Teste spécifiquement la longueur d'acceptation et le débit dans des scénarios de dialogue multi-tours avec agents, et pas seulement sur des problèmes de mathématiques et de code
- Fournit le papier de recherche et le code GitHub, sous licence Apache-2.0
Utilisation
- Après l'installation de Tencent/DSpine, ajoutez --speculative-algorithm DSPINE à sglang serve, pointez --speculative-draft-model-path vers ce modèle, et utilisez les autres paramètres indiqués dans la fiche du modèle
Risques
- Compatible uniquement avec le modèle principal Qwen3.8-27B, dépend de SGLang et de configurations de backend spécifiques, ce qui rend le déploiement sur des cartes graphiques personnelles difficile
- Les données d'accélération ont été mesurées officiellement dans des conditions de concurrence et de configuration spécifiques
- Cette entrée n'a pas été exécutée, les performances doivent être vérifiées selon la fiche du modèle