RidgeFill : Remplissage des couches supérieures sans apprentissage pour accélérer le préremplissage de prompts longs

Le préremplissage de prompts longs nécessite un calcul complet de chaque couche. RidgeFill calcule entièrement les couches inférieures jusqu'à une couche de démarcation, puis utilise une régression ridge par couche pour prédire les entrées des couches supérieures à partir de l'état de la couche de démarcation, permettant aux couches supérieures d'écrire directement dans le cache ; la carte est ajustée en une seule fois sous forme fermée à l'aide d'un texte de calibration, sans apprentissage ni perte de tokens. Les lignes spécifiées, les derniers milliers de tokens du prompt et toutes les étapes de décodage continuent d'exécuter le modèle complet. L'idée provient des projections intégrées au modèle dans YOCO et DeepSeek-V4.1-Flash ; RidgeFill adapte cette approche à des modèles n'ayant pas été entraînés avec une telle structure. Les auteurs affirment que Qwen3.8-27B, sur une branche llama.cpp avec une seule carte A100, offre un temps jusqu'au premier token (TTFT) 1.25–1.31 fois plus rapide pour des prompts de 16K à 120K tokens, avec une baisse de score de 1.2–1.4 points sur RULER et LongBench v2 ; Qwen3.8-Flash-Next est 1.50–1.60 fois plus rapide sur vLLM.

Titre original : RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill

Le préremplissage de prompts longs nécessite un calcul complet de chaque couche. RidgeFill calcule entièrement les couches inférieures jusqu'à une couche de démarcation, puis utilise une régression ridge par couche pour prédire les entrées des couches supérieures à partir de l'état de la couche de démarcation, permettant aux couches supérieures d'écrire directement dans le cache ; la carte est ajustée en une seule fois sous forme fermée à l'aide d'un texte de calibration, sans apprentissage ni perte de tokens. Les lignes spécifiées, les derniers milliers de tokens du prompt et toutes les étapes de décodage continuent d'exécuter le modèle complet. L'idée provient des projections intégrées au modèle dans YOCO et DeepSeek-V4.1-Flash ; RidgeFill adapte cette approche à des modèles n'ayant pas été entraînés avec une telle structure. Les auteurs affirment que Qwen3.8-27B, sur une branche llama.cpp avec une seule carte A100, offre un temps jusqu'au premier token (TTFT) 1.25–1.31 fois plus rapide pour des prompts de 16K à 120K tokens, avec une baisse de score de 1.2–1.4 points sur RULER et LongBench v2 ; Qwen3.8-Flash-Next est 1.50–1.60 fois plus rapide sur vLLM.

Pourquoi c'est important Réduit le temps d'attente jusqu'au premier token pour les contextes longs sans modifier ni entraîner le modèle ; la branche llama.cpp et les fichiers de carte sont téléchargeables

J'aime 2 · Étoiles du code 0

Raisons

  • Cible la latence jusqu'au premier token pour le déploiement en contexte long, une approche distincte de la quantification KV ou de l'élimination de tokens
  • Toutes les conclusions peuvent être recalculées à partir des données du dépôt : chaque chiffre correspond à un script et à un fichier, avec des journaux d'exécution liés par une chaîne de hachage
  • Les fichiers de carte pour Qwen3.8-27B, Qwen3.8-Flash-Next et trois modèles de référence de 8–9B sont disponibles sous l'organisation TheCacheIsALie sur Hugging Face

Utilisation

  • Données et code : branche llama.cpp https://github.com/Approximate-Science/ridgefill-data;推理用 Approximate-Science/llama.cpp-ridgefill
  • Pour vérifier uniquement les conclusions : exécutez bash recompute/run_all.sh puis comparez avec recompute/gate.py ; nécessite seulement Python et numpy

Risques

  • Les auteurs indiquent que l'intervalle de confiance à 95% pour la baisse de qualité inclut zéro, mais n'exclut pas une perte de quelques points
  • Le code source de la branche vLLM utilisée par Flash-Next n'est pas public, seul un miroir public est disponible ; le dépôt se concentre sur les données et les scripts de reproduction
  • L'article est publié sur Zenodo ; certains chiffres dans le résumé arXiv et le README sont incohérents ; cette entrée n'a pas été exécutée

Ouvrir · Code · Page de l'article sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA