DNeo : un modèle de brouillon parallèle qui réutilise les brouillons rejetés

Le décodage par diffusion spéculative utilise un petit modèle de brouillon parallèle pour générer en une seule passe avant un bloc de tokens candidats, qui sont ensuite vérifiés en parallèle par le grand modèle. Les auteurs soulignent trois lacunes dans la manière dont les modèles de brouillon parallèles tels que DFlash et DSpark lisent les caractéristiques du modèle cible : la projection d'encodage perturbe l'espace des caractéristiques de la cible (ce que les auteurs appellent le mélange résiduel), le modèle ne se souvient pas des propositions précédemment rejetées, et la sélection uniforme des caractéristiques à travers les couches omet des états cachés essentiels. DNeo utilise l'attention aux caractéristiques mélangées avec mémoire de travail (MoFA) pour encoder les propositions rejetées sous forme de mémoire, ajoute une convolution causale à deux prises, applique l'attention croisée uniquement au préfixe et sélectionne les couches cibles de manière non uniforme ; les auteurs affirment que la vitesse de génération est 1.3 fois supérieure à celle de DFlash-2, actuellement le meilleur modèle, sans augmenter la taille du modèle de brouillon ni altérer la qualité de la génération.

Titre original : DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding

Le décodage par diffusion spéculative utilise un petit modèle de brouillon parallèle pour générer en une seule passe avant un bloc de tokens candidats, qui sont ensuite vérifiés en parallèle par le grand modèle. Les auteurs soulignent trois lacunes dans la manière dont les modèles de brouillon parallèles tels que DFlash et DSpark lisent les caractéristiques du modèle cible : la projection d'encodage perturbe l'espace des caractéristiques de la cible (ce que les auteurs appellent le mélange résiduel), le modèle ne se souvient pas des propositions précédemment rejetées, et la sélection uniforme des caractéristiques à travers les couches omet des états cachés essentiels. DNeo utilise l'attention aux caractéristiques mélangées avec mémoire de travail (MoFA) pour encoder les propositions rejetées sous forme de mémoire, ajoute une convolution causale à deux prises, applique l'attention croisée uniquement au préfixe et sélectionne les couches cibles de manière non uniforme ; les auteurs affirment que la vitesse de génération est 1.3 fois supérieure à celle de DFlash-2, actuellement le meilleur modèle, sans augmenter la taille du modèle de brouillon ni altérer la qualité de la génération.

Pourquoi c'est important L'accélération de la décodage spéculatif dépend du taux d'acceptation des brouillons ; les auteurs affirment que la vitesse de génération dépasse celle de DFlash-2, le meilleur modèle précédent, sans augmenter la taille du brouillon ni altérer la qualité de la sortie

J'aime 3 · Étoiles du code 4

Raison

  • Les poids de brouillon J-sandler/Qwen3-4B-DNeo ont été publiés pour Qwen3-4B (mode réflexion) : un backbone parallèle de 5 couches qui rédige 15 jetons en une seule passe avant, avec des caractéristiques extraites de 7 couches sélectionnées du modèle cible
  • L'auteur a testé sur une H100 80 Go, avec une taille de lot de 1 : SGLang accepte en moyenne 4.51 jetons par passe avant et décode 701 jetons/s, soit 2.96 fois plus rapide que l'autorégression mot par mot ; sous Transformers, le facteur est de 3.37
  • Les poids de brouillon sont sous licence Apache-2.0, le code d'inférence sous licence MIT

Utilisation

  • Code : à utiliser en paire avec https://github.com/J-sandler/DNeo;权重:https://huggingface.co/J-sandler/Qwen3-4B-DNeo,必须和 Qwen/Qwen3-4B, le modèle de brouillon ne peut pas générer seul
  • Cette version nécessite un runtime shared-router d'au moins 0.1.0rc6 : téléchargez dneo-inference-source.tar.gz depuis le dépôt de poids, puis installez la version Transformers ou SGLang native selon le fichier INSTALL.md inclus ; l'ancien chargeur five-router ne peut pas les lire

Risques

  • Actuellement, il n'existe que des poids de brouillon pour un seul modèle cible, Qwen3-4B
  • Les conditions de test : prompts d'une longueur maximale de 256 jetons, sortie fixe de 512 jetons, limite de contexte de 1024 ; l'auteur précise que les résultats varient selon la charge ; aucune donnée pour les contextes longs et les lots importants. Cet élément n'a pas été exécuté

Ouvrir · Code · Page du papier

Hugging Face Daily Papers

Parcourir les dernières actualités IA