Les chercheurs de Nvidia affirment que les contextes ultra-longs sont souvent inutiles

Selon The Decoder, l'équipe de recherche de Nvidia a publié un article intitulé « You don't need long context », soutenant que les modèles de langage n'ont souvent pas besoin de la fenêtre de contexte complète : les longs contextes sont lents, coûteux et sujets aux erreurs. L'article indique que le coût de génération des tokens augmente avec leur position dans la séquence, avec un écart pouvant atteindre 7 fois sur les modèles open-weight de pointe ; en compressant fréquemment le contexte (résumés réguliers, récupération par mots-clés), les modèles de pointe maintiennent une précision quasi identique sur une série de tâches à long terme et d'entrées longues tout en utilisant des contextes courts. Même si chaque contexte ne permet qu'une seule étape d'opération, la performance des modèles sur les tâches d'ingénierie logicielle à long terme ne s'effondre pas, ce qui a conduit les auteurs à proposer le concept de « modèle d'espace d'états sémantique » utilisant de brèves notes plutôt que de longs contextes.

Titre original : Nvidia researchers argue huge AI context windows are a dead end

Selon The Decoder, l'équipe de recherche de Nvidia a publié un article intitulé « You don't need long context », soutenant que les modèles de langage n'ont souvent pas besoin de la fenêtre de contexte complète : les longs contextes sont lents, coûteux et sujets aux erreurs. L'article indique que le coût de génération des tokens augmente avec leur position dans la séquence, avec un écart pouvant atteindre 7 fois sur les modèles open-weight de pointe ; en compressant fréquemment le contexte (résumés réguliers, récupération par mots-clés), les modèles de pointe maintiennent une précision quasi identique sur une série de tâches à long terme et d'entrées longues tout en utilisant des contextes courts. Même si chaque contexte ne permet qu'une seule étape d'opération, la performance des modèles sur les tâches d'ingénierie logicielle à long terme ne s'effondre pas, ce qui a conduit les auteurs à proposer le concept de « modèle d'espace d'états sémantique » utilisant de brèves notes plutôt que de longs contextes.

Pourquoi c'est important Plus le contexte est long, plus les tokens suivants sont coûteux ; si des résumés réguliers combinés à une récupération à la demande suffisent, le coût d'inférence des agents peut diminuer sensiblement.

Fiabilité : Haute fiabilité · Source article arXiv etc. 2 sources (y compris officielles) · Date de l'événement 11-22 00:23 (heure de Pékin)

Raisons

  • Les chercheurs de Nvidia ont publié un rapport technique sur arXiv
  • Couverture par The Decoder

Utilisation

  • Lire l'article complet sur arXiv (2611.05306)

Risques

  • Selon la couverture de l'article par AlphaSignal, certains modèles voient leurs performances chuter nettement après compression, par exemple Qwen 3 Coder Next passe de 53% à 3.6% sur SWE-bench Verified avec une limite de 16K
  • La compression invalide le cache des prompts, ce qui peut augmenter le coût total lors de l'appel d'APIs propriétaires

Ouvrir · Article arXiv

The Decoder

Parcourir les dernières actualités IA