Late Entry : faire faire moins de tours aux modèles de langage en boucle

Les modèles de langage en boucle exécutent le même ensemble de couches T fois par token, échangeant moins de paramètres contre un raisonnement plus profond, mais le nombre de tours se traduit directement par une latence de décodage mot à mot. Les méthodes courantes de sortie anticipée n'exécutent que les premiers tours, et le cache KV des tokens passés ne couvre que les couches superficielles. L'article propose l'approche inverse, l'« entrée tardive » : les nouveaux tokens sautent les tours initiaux et n'effectuent que les K derniers tours, tout en consultant un cache de contexte de profondeur complète ; après un léger ajustement pour corriger la discordance de la norme des états cachés à l'entrée, l'entrée tardive surpasse la sortie anticipée équivalente sur tous les modèles et budgets de tours. Pour éviter les pauses dues au remplissage des caches profonds, les tokens déjà validés effectuent tous les tours restants lors des étapes suivantes, puis une « vérification d'éveil » est effectuée dans la multiplication matricielle de sortie existante : avec une tolérance de 0, le résultat est identique mot pour mot au décodage glouton de profondeur complète, tandis qu'avec une tolérance infinie, il n'y a pas de retour en arrière et la vitesse est maximale. L'article indique une accélération de 5.2 fois en mode strictement équivalent sur Ouro-2.6B, et de 8.4 fois sur Huginn-3.5B avec 64 tours.

Titre original : Late Entry in Looped Language Models

Les modèles de langage en boucle exécutent le même ensemble de couches T fois par token, échangeant moins de paramètres contre un raisonnement plus profond, mais le nombre de tours se traduit directement par une latence de décodage mot à mot. Les méthodes courantes de sortie anticipée n'exécutent que les premiers tours, et le cache KV des tokens passés ne couvre que les couches superficielles. L'article propose l'approche inverse, l'« entrée tardive » : les nouveaux tokens sautent les tours initiaux et n'effectuent que les K derniers tours, tout en consultant un cache de contexte de profondeur complète ; après un léger ajustement pour corriger la discordance de la norme des états cachés à l'entrée, l'entrée tardive surpasse la sortie anticipée équivalente sur tous les modèles et budgets de tours. Pour éviter les pauses dues au remplissage des caches profonds, les tokens déjà validés effectuent tous les tours restants lors des étapes suivantes, puis une « vérification d'éveil » est effectuée dans la multiplication matricielle de sortie existante : avec une tolérance de 0, le résultat est identique mot pour mot au décodage glouton de profondeur complète, tandis qu'avec une tolérance infinie, il n'y a pas de retour en arrière et la vitesse est maximale. L'article indique une accélération de 5.2 fois en mode strictement équivalent sur Ouro-2.6B, et de 8.4 fois sur Huginn-3.5B avec 64 tours.

Pourquoi c'est important La profondeur de raisonnement des modèles en boucle se traduit directement en latence mot à mot ; les auteurs proposent un mode strictement équivalent optionnel, dont la sortie est identique au décodage glouton de profondeur complète, tout en offrant une accélération de plusieurs fois

J'aime 9 · Étoiles du code 1

Raisons

  • Publication de 5 points de contrôle : versions à entrée tardive d'Ouro-2.6B, Ouro-1.4B et Huginn-3.5B, ainsi que des versions à sortie anticipée pour comparaison, code sous licence MIT
  • Inclut un plugin SGLang 0.5.14 et un exécuteur de traitement par lots continu multi-requêtes ; le README indique que sur une seule carte H100, la démonstration de Huginn-3.5B est 8.5 fois plus rapide que le décodage natif de profondeur complète, avec des réponses identiques
  • Propose un test d'équivalence sur CPU ne nécessitant pas de GPU et s'exécutant en environ 45 secondes, permettant de vérifier d'abord l'affirmation d'une « identité mot pour mot »

Utilisation

  • Code : https://github.com/Xalp/LateComer;权重合集:https://huggingface.co/collections/Xalphinions/late-entry
  • pip install -r requirements.txt ; python tests/run_all_cpu_tests.py pour exécuter les tests d'équivalence sur CPU ; pour Ouro, utilisez wake_verify/run_ouro_wake.py, et pour Huginn, utilisez python -m wake_verify.hg_wake pour reproduire les tableaux de l'article

Risques

  • Applicable uniquement aux modèles de langage en boucle (partage de couches) tels que Ouro et Huginn, non applicable aux Transformers classiques, et nécessite un ajustement en deux phases au préalable
  • La précision diminue dans le mode avec perte sans retour en arrière (README : Ouro-2.6B passe de 0.868 à 0.842 sur GSM8K) ; les mesures de vitesse ont toutes été effectuées sur une seule carte H100, et cette entrée n'a pas été exécutée

Ouvrir · Code · Page de l'article

Hugging Face Daily Papers

Parcourir les dernières actualités IA