Titre original : Evolving Infra: Agent-Adaptive LLM Serving at Scale
Les services d'inférence existants à séparation préfill/décodage peinent à ajuster l'allocation des ressources de calcul et le cache KV en temps réel, ce qui entraîne souvent un déséquilibre de charge entre les deux phases et l'éviction de caches encore réutilisables face aux charges de travail des agents. Evolving Infra découple l'allocation des ressources de calcul et la gestion du cache KV : les nœuds peuvent basculer entre le préfill et le décodage en quelques secondes sans redémarrage, et le cache KV est stocké dans un pool de mémoire hôte accessible par tous les nœuds ; un planificateur en ligne ajuste le ratio entre les deux phases à l'aide d'un modèle de coût couvrant les sous-agents et la gestion du contexte ; un gestionnaire KV distribué supprime l'historique remplacé par compression et le contexte des sous-agents terminés en fonction des signaux de gestion du contexte des agents. Les auteurs affirment qu'en utilisant GLM-5.2 et Kimi K2.6 sur jusqu'à 256 cartes GB300 pour exécuter des agents de programmation, de mathématiques et d'opérations sur ordinateur, la latence moyenne de bout en bout et le temps jusqu'au premier token P95 sont réduits respectivement jusqu'à 4.1 fois et 14 fois par rapport au cadre de production Dynamo de NVIDIA.
Pourquoi c'est important Les agents de programmation et d'opérations sur ordinateur réutilisent et compressent le contexte de manière répétée ; une planification adaptée à ce type de charge permet de réduire significativement la latence sans nécessiter de calculs hors ligne
J'aime 10 · Étoiles du code 12
Raisons
- Adaptation purement en ligne, sans calculs hors ligne nécessaires ; le README indique également un débit jusqu'à 2.7 fois supérieur à celui de Dynamo
- Le dépôt est conçu pour être « opéré par des agents de programmation » : le déploiement, la connexion à Claude Code / Codex / Pi, la reproduction de l'article et le débogage sont tous décrits dans des fichiers de compétences, accompagnés d'images d'exécution x86_64 et aarch64
- Les auteurs ont publié sur Hugging Face un jeu de données de traces de requêtes d'agents : crmsndu/evolving-infra-traces
Utilisation
- Code : https://github.com/mit-han-lab/EvolvingInfra(MIT;引擎和路由核心源自 SGLang, sous licence Apache-2.0
- Demandez à l'agent de programmation de déployer le modèle en suivant skills/deploy-stack/SKILL.md, puis de connecter Claude Code ou Codex à l'adresse de routage en suivant skills/connect-harness/SKILL.md
Risques
- Conçu pour les clusters multi-machines : la reproduction des résultats de l'article nécessite environ deux heures sur neuf nœuds GPU, ce qui est inaccessible aux utilisateurs disposant d'une seule carte
- La seule comparaison est avec NVIDIA Dynamo, et les performances sont rapportées par les auteurs ; cette entrée n'a pas été exécutée