Оригинальное название: Evolving Infra: Agent-Adaptive LLM Serving at Scale
Существующие сервисы инференса с разделением на предзаполнение (prefill) и декодирование испытывают трудности с динамической корректировкой распределения вычислительных ресурсов и кэша KV в реальном времени, что при агентных нагрузках приводит к дисбалансу нагрузки между этапами и удалению кэша, который еще может быть повторно использован. Evolving Infra разделяет управление вычислительными ресурсами и кэшем KV: узлы могут переключаться между режимами предзаполнения и декодирования за несколько секунд без перезапуска, а кэш KV хранится в пуле оперативной памяти хоста, доступном для чтения всем узлам; онлайн-планировщик корректирует пропорции между этапами, используя модель затрат, учитывающую субагентов и управление контекстом; распределенный менеджер KV удаляет сжатые и замененные истории, а также контексты завершенных субагентов на основе сигналов управления контекстом от агентов. Авторы утверждают, что при использовании до 256 карт GB300 для запуска программирующих, математических и компьютерно-операционных агентов с моделями GLM-5.2 и Kimi K2.6, по сравнению с производственным фреймворком NVIDIA Dynamo, средняя сквозная задержка и время до первого токена P95 снижаются максимум в 4.1 и 14 раз соответственно.
Почему это важно Агенты для программирования и управления компьютером многократно повторно используют и сжимают контекст; планирование под такие нагрузки позволяет значительно снизить задержку без необходимости офлайн-оценки производительности
Лайков 10 · Звезд на GitHub 12
Обоснование
- Полностью онлайн-адаптивность, не требуется офлайн-оценка; в README также указано, что пропускная способность достигает максимум 2.7 раз выше, чем у Dynamo
- Репозиторий спроектирован для работы с программирующими агентами: развертывание, подключение Claude Code / Codex / Pi, воспроизведение результатов статьи и отладка описаны в виде файлов навыков (skills), приложены образы среды выполнения x86_64 и aarch64
- Авторы опубликовали на Hugging Face набор данных с траекториями запросов агентов crmsndu/evolving-infra-traces
Использование
- Код: https://github.com/mit-han-lab/EvolvingInfra(MIT;引擎和路由核心源自 SGLang, лицензия Apache-2.0)
- Позвольте программирующему агенту развернуть модель согласно skills/deploy-stack/SKILL.md, а затем подключить Claude Code или Codex к маршрутизирующему адресу согласно skills/connect-harness/SKILL.md
Риски
- Ориентировано на многоузловые кластеры: воспроизведение результатов статьи требует占用 девяти узлов GPU примерно на два часа, что недоступно пользователям с одной видеокартой
- В качестве сравнения использован только NVIDIA Dynamo, результаты предоставлены авторами; в данном обзоре тестирование не проводилось