原題:Evolving Infra: Agent-Adaptive LLM Serving at Scale
既存のプリフィル/デコード分離型推論サービスは、実行時に計算リソース配分とKVキャッシュを調整することが難しく、エージェント負荷に対して両側の負荷不均衡や、再利用予定のあるキャッシュの削除が発生しやすい。Evolving Infraは計算リソース配分とKVキャッシュ管理を分離する:ノードは再起動せずに数秒でプリフィルとデコードの間を切り替えられ、KVキャッシュはすべてのノードから読み取り可能なホストメモリプールに配置される。オンラインプランナーはサブエージェントとコンテキスト管理をカバーするコストモデルを用いて両側の比率を調整し、分散KVマネージャーはエージェントのコンテキスト管理シグナルに基づき、圧縮・置換された履歴や終了したサブエージェントのコンテキストを削除する。著者によると、最大 256 枚の GB300 で GLM-5.2 と Kimi K2.6 を使用し、プログラミング、数学、コンピュータ操作エージェントを実行した場合、NVIDIA の本番フレームワーク Dynamo と比較して、平均エンドツーエンド遅延と P95 初回トークン時間がそれぞれ最大 4.1 倍および 14 倍低減した。
なぜ重要か プログラミングやコンピュータ操作などのエージェントはコンテキストを繰り返し再利用・圧縮するため、この種の負荷に合わせたスケジューリングにより、オフラインでの試算なしに遅延を大幅に低減できる
いいね 10 · コードスター数 12
理由
- 純粋なオンライン適応であり、オフラインでの試算は不要。READMEではスループットがDynamoの最大 2.7 倍と記載されている
- リポジトリは「プログラミングエージェントによる操作」を想定して設計されており、デプロイ、Claude Code / Codex / Piへの接続、論文の再現、トラブルシューティングなどがすべてスキルファイルとして記述され、x86_64 および aarch64 実行イメージが付属している
- 著者はHugging Faceでエージェントのリクエストトレースデータセット crmsndu/evolving-infra-traces を公開した
使い方
- コード:https://github.com/mit-han-lab/EvolvingInfra(MIT;引擎和路由核心源自 SGLang(Apache-2.0 ライセンスを保持)
- プログラミングエージェントに skills/deploy-stack/SKILL.md に従ってモデルをデプロイさせ、次に skills/connect-harness/SKILL.md に従って Claude Code または Codex をルーティングアドレスに接続する
リスク
- マルチノードクラスタ向け:論文結果の再現には一度に9台のGPUノードで約2時間必要であり、単一カードユーザーには利用できない
- 比較対象はNVIDIA Dynamoのみであり、成績は著者による報告。本項目では実行していない
開く · コード · Hugging Face論文ページ