Evolving Infra: 에이전트 부하에 따라 온라인으로 조정되는 대규모 언어 모델 추론 서비스

기존 프리필/디코드 분리 추론 서비스는 런타임에 연산 자원 할당과 KV 캐시를 조정하기 어려워, 에이전트 부하 상황에서는 양쪽의 부하 불균형이 발생하거나 재사용될 수 있는 캐시가 삭제되는 문제가 생깁니다. Evolving Infra는 연산 자원 할당과 KV 캐시 관리를 분리합니다: 노드는 재시작 없이 몇 초 만에 프리필과 디코드 모드 간에 전환할 수 있으며, KV 캐시는 모든 노드에서 읽을 수 있는 호스트 메모리 풀에 저장됩니다. 온라인 플래너는 하위 에이전트 및 컨텍스트 관리를 포함하는 비용 모델을 사용하여 양쪽의 비율을 조정합니다. 분산 KV 관리자는 에이전트의 컨텍스트 관리 신호에 따라 압축되어 대체된 히스토리나 종료된 하위 에이전트의 컨텍스트를 삭제합니다. 저자들은 최대 256장의 GB300에서 GLM-5.2 및 Kimi K2.6을 사용하여 프로그래밍, 수학 및 컴퓨터 조작 에이전트를 실행했을 때, NVIDIA의 프로덕션 프레임워크인 Dynamo와 비교하여 평균 엔드투엔드 지연 시간과 P95 첫 토큰 시간이 각각 최대 4.1배와 14배 감소했다고 보고했습니다.

원제: Evolving Infra: Agent-Adaptive LLM Serving at Scale

기존 프리필/디코드 분리 추론 서비스는 런타임에 연산 자원 할당과 KV 캐시를 조정하기 어려워, 에이전트 부하 상황에서는 양쪽의 부하 불균형이 발생하거나 재사용될 수 있는 캐시가 삭제되는 문제가 생깁니다. Evolving Infra는 연산 자원 할당과 KV 캐시 관리를 분리합니다: 노드는 재시작 없이 몇 초 만에 프리필과 디코드 모드 간에 전환할 수 있으며, KV 캐시는 모든 노드에서 읽을 수 있는 호스트 메모리 풀에 저장됩니다. 온라인 플래너는 하위 에이전트 및 컨텍스트 관리를 포함하는 비용 모델을 사용하여 양쪽의 비율을 조정합니다. 분산 KV 관리자는 에이전트의 컨텍스트 관리 신호에 따라 압축되어 대체된 히스토리나 종료된 하위 에이전트의 컨텍스트를 삭제합니다. 저자들은 최대 256장의 GB300에서 GLM-5.2 및 Kimi K2.6을 사용하여 프로그래밍, 수학 및 컴퓨터 조작 에이전트를 실행했을 때, NVIDIA의 프로덕션 프레임워크인 Dynamo와 비교하여 평균 엔드투엔드 지연 시간과 P95 첫 토큰 시간이 각각 최대 4.1배와 14배 감소했다고 보고했습니다.

왜 중요한가 프로그래밍, 컴퓨터 조작 등 에이전트는 컨텍스트를 반복적으로 재사용하고 압축하므로, 이러한 부하에 맞춰 스케줄링하면 오프라인 측정 없이도 지연 시간을 크게 줄일 수 있습니다

좋아요 10 · 코드 스타 수 12

이유

  • 순수 온라인 적응형으로, 오프라인 측정이 필요 없습니다. README에서는 처리량이 Dynamo의 최대 2.7배라고 추가로 언급합니다.
  • 저장소는 '프로그래밍 에이전트가 조작하도록' 설계되었습니다: 배포, Claude Code / Codex / Pi 연결, 논문 재현, 디버깅이 모두 스킬 파일로 작성되어 있으며, x86_64 및 aarch64 실행 이미지가 포함되어 있습니다.
  • 저자들은 Hugging Face에 에이전트 요청 궤적 데이터셋 crmsndu/evolving-infra-traces를 공개했습니다.

사용법

  • 코드: https://github.com/mit-han-lab/EvolvingInfra(MIT;引擎和路由核心源自 SGLang (Apache-2.0 라이선스 유지)
  • 프로그래밍 에이전트가 skills/deploy-stack/SKILL.md에 따라 모델을 배포한 후, skills/connect-harness/SKILL.md에 따라 Claude Code 또는 Codex를 라우팅 주소에 연결하도록 합니다.

리스크

  • 다중 머신 클러스터를 대상으로 합니다: 논문 결과를 재현하려면 한 번에 9개의 GPU 노드를 약 2시간 동안 점유해야 하므로, 단일 카드 사용자에게는 적합하지 않습니다.
  • 비교 대상은 NVIDIA Dynamo뿐이며, 성능 수치는 저자가 보고한 것입니다. 이 항목에서는 실행되지 않았습니다.

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기