DSpine : modèle d'accélération par brouillon parallèle conçu par Tencent pour Qwen3.8-27B

Modèle de brouillon DSpine à cinq couches entraîné par Tencent pour Qwen3.8-27B, destiné au décodage spéculatif : génération parallèle de jetons de brouillon, chaque couche transmet les caractéristiques précédentes prédites aux positions adjacentes, la dépendance causale étant propagée via la profondeur du réseau. Taille de bloc 16, fenêtre glissante de 8,192 jetons. Les tests officiels effectués sur SGLang montrent une longueur d'acceptation moyenne supérieure pour chaque tâche par rapport à DFlash2 ; lors des rejeux d'agents sur WorkBuddy (code / web / bureautique), SWE-bench Pro et τ²-bench, le débit de bout en bout est d'environ 2.7 à 3.8 fois celui du décodage autorégressif standard.

Titre original : tencent/Qwen3.8-27B-DSpine-b16

Modèle de brouillon DSpine à cinq couches entraîné par Tencent pour Qwen3.8-27B, destiné au décodage spéculatif : génération parallèle de jetons de brouillon, chaque couche transmet les caractéristiques précédentes prédites aux positions adjacentes, la dépendance causale étant propagée via la profondeur du réseau. Taille de bloc 16, fenêtre glissante de 8,192 jetons. Les tests officiels effectués sur SGLang montrent une longueur d'acceptation moyenne supérieure pour chaque tâche par rapport à DFlash2 ; lors des rejeux d'agents sur WorkBuddy (code / web / bureautique), SWE-bench Pro et τ²-bench, le débit de bout en bout est d'environ 2.7 à 3.8 fois celui du décodage autorégressif standard.

Pourquoi c'est important Augmente le débit d'inférence sans changer le modèle principal, idéal pour déployer Qwen3.8-27B avec SGLang afin d'exécuter des tâches d'agents et de code

Score de progression 146 · J'aime 148 · Téléchargements 1464

Raisons

  • Teste spécifiquement la longueur d'acceptation et le débit dans des scénarios de dialogue multi-tours avec agents, et pas seulement sur des problèmes de mathématiques et de code
  • Fournit le papier de recherche et le code GitHub, sous licence Apache-2.0

Utilisation

  • Après l'installation de Tencent/DSpine, ajoutez --speculative-algorithm DSPINE à sglang serve, pointez --speculative-draft-model-path vers ce modèle, et utilisez les autres paramètres indiqués dans la fiche du modèle

Risques

  • Compatible uniquement avec le modèle principal Qwen3.8-27B, dépend de SGLang et de configurations de backend spécifiques, ce qui rend le déploiement sur des cartes graphiques personnelles difficile
  • Les données d'accélération ont été mesurées officiellement dans des conditions de concurrence et de configuration spécifiques
  • Cette entrée n'a pas été exécutée, les performances doivent être vérifiées selon la fiche du modèle

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA