Evolving Infra:エージェント負荷に応じてオンラインで調整する大規模モデル推論サービス

既存のプリフィル/デコード分離型推論サービスは、実行時に計算リソース配分とKVキャッシュを調整することが難しく、エージェント負荷に対して両側の負荷不均衡や、再利用予定のあるキャッシュの削除が発生しやすい。Evolving Infraは計算リソース配分とKVキャッシュ管理を分離する:ノードは再起動せずに数秒でプリフィルとデコードの間を切り替えられ、KVキャッシュはすべてのノードから読み取り可能なホストメモリプールに配置される。オンラインプランナーはサブエージェントとコンテキスト管理をカバーするコストモデルを用いて両側の比率を調整し、分散KVマネージャーはエージェントのコンテキスト管理シグナルに基づき、圧縮・置換された履歴や終了したサブエージェントのコンテキストを削除する。著者によると、最大 256 枚の GB300 で GLM-5.2 と Kimi K2.6 を使用し、プログラミング、数学、コンピュータ操作エージェントを実行した場合、NVIDIA の本番フレームワーク Dynamo と比較して、平均エンドツーエンド遅延と P95 初回トークン時間がそれぞれ最大 4.1 倍および 14 倍低減した。

原題:Evolving Infra: Agent-Adaptive LLM Serving at Scale

既存のプリフィル/デコード分離型推論サービスは、実行時に計算リソース配分とKVキャッシュを調整することが難しく、エージェント負荷に対して両側の負荷不均衡や、再利用予定のあるキャッシュの削除が発生しやすい。Evolving Infraは計算リソース配分とKVキャッシュ管理を分離する:ノードは再起動せずに数秒でプリフィルとデコードの間を切り替えられ、KVキャッシュはすべてのノードから読み取り可能なホストメモリプールに配置される。オンラインプランナーはサブエージェントとコンテキスト管理をカバーするコストモデルを用いて両側の比率を調整し、分散KVマネージャーはエージェントのコンテキスト管理シグナルに基づき、圧縮・置換された履歴や終了したサブエージェントのコンテキストを削除する。著者によると、最大 256 枚の GB300 で GLM-5.2 と Kimi K2.6 を使用し、プログラミング、数学、コンピュータ操作エージェントを実行した場合、NVIDIA の本番フレームワーク Dynamo と比較して、平均エンドツーエンド遅延と P95 初回トークン時間がそれぞれ最大 4.1 倍および 14 倍低減した。

なぜ重要か プログラミングやコンピュータ操作などのエージェントはコンテキストを繰り返し再利用・圧縮するため、この種の負荷に合わせたスケジューリングにより、オフラインでの試算なしに遅延を大幅に低減できる

いいね 10 · コードスター数 12

理由

  • 純粋なオンライン適応であり、オフラインでの試算は不要。READMEではスループットがDynamoの最大 2.7 倍と記載されている
  • リポジトリは「プログラミングエージェントによる操作」を想定して設計されており、デプロイ、Claude Code / Codex / Piへの接続、論文の再現、トラブルシューティングなどがすべてスキルファイルとして記述され、x86_64 および aarch64 実行イメージが付属している
  • 著者はHugging Faceでエージェントのリクエストトレースデータセット crmsndu/evolving-infra-traces を公開した

使い方

  • コード:https://github.com/mit-han-lab/EvolvingInfra(MIT;引擎和路由核心源自 SGLang(Apache-2.0 ライセンスを保持)
  • プログラミングエージェントに skills/deploy-stack/SKILL.md に従ってモデルをデプロイさせ、次に skills/connect-harness/SKILL.md に従って Claude Code または Codex をルーティングアドレスに接続する

リスク

  • マルチノードクラスタ向け:論文結果の再現には一度に9台のGPUノードで約2時間必要であり、単一カードユーザーには利用できない
  • 比較対象はNVIDIA Dynamoのみであり、成績は著者による報告。本項目では実行していない

開く · コード · Hugging Face論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る