Titre original : nvidia/Qwen3.5-4B-Qwen3.8-27B-Draft
Publié par NVIDIA le 17 11, ce modèle de brouillon externe entraîné avec Model Optimizer (4.21B paramètres, basé sur Qwen3.5-4B, partageant le tokenizer et le vocabulaire avec le modèle cible). Lors du service, il propose un ensemble de tokens candidats en une seule passe selon les paramètres d'échantillonnage du modèle cible ; Qwen3.8-27B les valide par échantillonnage par rejet, produisant une distribution de sortie identique à celle générée par le modèle cible seul, tout en réduisant la latence de décodage. L'entraînement utilise 199,998 prompts à tour unique du dataset Nemotron-Post-Training-Dataset-v2, les réponses étant générées par Qwen3.8-27B, dont la distribution de probabilité des 20 premiers tokens à chaque position est enregistrée comme signal d'entraînement.
Pourquoi c'est important La distribution de sortie est strictement identique à celle du modèle original, seule la latence de décodage est réduite ; NVIDIA affirme que le nombre moyen de tokens acceptés par vérification est nettement supérieur à celui obtenu avec la tête de prédiction multi-tokens intégrée au modèle
Score de montée 63 · J'aime 67 · Téléchargements 290
Raisons
- Sous-ensemble qualitatif SPEED-Bench, bloc de brouillon 16 : longueur moyenne d'acceptation de 5.58, contre 3.81 pour la tête MTP intégrée de Qwen3.8-27B ; pour le sous-ensemble de contexte long de 32K, 5.11 contre 3.86
- La même série comprend également deux modèles de brouillon plus petits, Qwen3.5-0.8B (3.92 / 3.60) et Llama-3.2-1B (3.42 / 3.07), évalués sur les mêmes données et selon le même protocole
- Par catégorie, les longueurs d'acceptation les plus élevées concernent le RAG, le multilingue et la synthèse (6.58, 6.55, 6.19), tandis que le jeu de rôle et la rédaction sont les plus faibles (4.41, 4.59)
Utilisation
- Déployé comme modèle de brouillon externe pour Qwen3.8-27B : la fiche technique liste vLLM comme moteur pris en charge, et mentionne également la possibilité de chargement dans SGLang et TRT-LLM ; l'entrée doit utiliser le tokenizer de Qwen3.8-27B
- Les brouillons sont échantillonnés avec une température de 1.0, un top-k de 20 et un top-p de 0.95, cohérents avec les paramètres de service du modèle cible ; la longueur de séquence d'entraînement est de 12,288 tokens
Risques
- La fiche technique ne fournit ni commandes de lancement ni facteur d'accélération réel, seulement des longueurs d'acceptation ; NVIDIA cible principalement le déploiement sur les LPU Groq 3, et la seule architecture GPU listée est Blackwell
- Le modèle de brouillon lui-même compte 4.21B paramètres et doit coexister en mémoire avec le modèle cible de 27B ; les besoins mémoire supplémentaires ne sont pas précisés dans la fiche
- La licence est le NVIDIA Open Model License (usage commercial autorisé), et non Apache. Cette entrée n'a pas été exécutée