Evolving Infra: Сервис инференса больших языковых моделей с онлайн-адаптацией под агентные нагрузки

Существующие сервисы инференса с разделением на предзаполнение (prefill) и декодирование испытывают трудности с динамической корректировкой распределения вычислительных ресурсов и кэша KV в реальном времени, что при агентных нагрузках приводит к дисбалансу нагрузки между этапами и удалению кэша, который еще может быть повторно использован. Evolving Infra разделяет управление вычислительными ресурсами и кэшем KV: узлы могут переключаться между режимами предзаполнения и декодирования за несколько секунд без перезапуска, а кэш KV хранится в пуле оперативной памяти хоста, доступном для чтения всем узлам; онлайн-планировщик корректирует пропорции между этапами, используя модель затрат, учитывающую субагентов и управление контекстом; распределенный менеджер KV удаляет сжатые и замененные истории, а также контексты завершенных субагентов на основе сигналов управления контекстом от агентов. Авторы утверждают, что при использовании до 256 карт GB300 для запуска программирующих, математических и компьютерно-операционных агентов с моделями GLM-5.2 и Kimi K2.6, по сравнению с производственным фреймворком NVIDIA Dynamo, средняя сквозная задержка и время до первого токена P95 снижаются максимум в 4.1 и 14 раз соответственно.

Оригинальное название: Evolving Infra: Agent-Adaptive LLM Serving at Scale

Существующие сервисы инференса с разделением на предзаполнение (prefill) и декодирование испытывают трудности с динамической корректировкой распределения вычислительных ресурсов и кэша KV в реальном времени, что при агентных нагрузках приводит к дисбалансу нагрузки между этапами и удалению кэша, который еще может быть повторно использован. Evolving Infra разделяет управление вычислительными ресурсами и кэшем KV: узлы могут переключаться между режимами предзаполнения и декодирования за несколько секунд без перезапуска, а кэш KV хранится в пуле оперативной памяти хоста, доступном для чтения всем узлам; онлайн-планировщик корректирует пропорции между этапами, используя модель затрат, учитывающую субагентов и управление контекстом; распределенный менеджер KV удаляет сжатые и замененные истории, а также контексты завершенных субагентов на основе сигналов управления контекстом от агентов. Авторы утверждают, что при использовании до 256 карт GB300 для запуска программирующих, математических и компьютерно-операционных агентов с моделями GLM-5.2 и Kimi K2.6, по сравнению с производственным фреймворком NVIDIA Dynamo, средняя сквозная задержка и время до первого токена P95 снижаются максимум в 4.1 и 14 раз соответственно.

Почему это важно Агенты для программирования и управления компьютером многократно повторно используют и сжимают контекст; планирование под такие нагрузки позволяет значительно снизить задержку без необходимости офлайн-оценки производительности

Лайков 10 · Звезд на GitHub 12

Обоснование

  • Полностью онлайн-адаптивность, не требуется офлайн-оценка; в README также указано, что пропускная способность достигает максимум 2.7 раз выше, чем у Dynamo
  • Репозиторий спроектирован для работы с программирующими агентами: развертывание, подключение Claude Code / Codex / Pi, воспроизведение результатов статьи и отладка описаны в виде файлов навыков (skills), приложены образы среды выполнения x86_64 и aarch64
  • Авторы опубликовали на Hugging Face набор данных с траекториями запросов агентов crmsndu/evolving-infra-traces

Использование

  • Код: https://github.com/mit-han-lab/EvolvingInfra(MIT;引擎和路由核心源自 SGLang, лицензия Apache-2.0)
  • Позвольте программирующему агенту развернуть модель согласно skills/deploy-stack/SKILL.md, а затем подключить Claude Code или Codex к маршрутизирующему адресу согласно skills/connect-harness/SKILL.md

Риски

  • Ориентировано на многоузловые кластеры: воспроизведение результатов статьи требует占用 девяти узлов GPU примерно на два часа, что недоступно пользователям с одной видеокартой
  • В качестве сравнения использован только NVIDIA Dynamo, результаты предоставлены авторами; в данном обзоре тестирование не проводилось

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ