Tiêu đề gốc: Evolving Infra: Agent-Adaptive LLM Serving at Scale
Các dịch vụ suy luận hiện có với kiến trúc tách biệt giữa giai đoạn tiền xử lý (prefill) và giải mã (decode) gặp khó khăn trong việc điều chỉnh phân bổ tài nguyên tính toán và bộ nhớ đệm KV vào thời điểm chạy, dễ dẫn đến tình trạng mất cân bằng tải giữa hai phía và xóa nhầm các bộ nhớ đệm vẫn còn khả năng tái sử dụng khi đối mặt với tải của tác nhân. Evolving Infra tách biệt việc phân bổ tài nguyên tính toán và quản lý bộ nhớ đệm KV: các nút có thể chuyển đổi giữa giai đoạn tiền xử lý và giải mã trong vài giây mà không cần khởi động lại, bộ nhớ đệm KV được đặt trong một hồ chứa bộ nhớ máy chủ (host memory pool) mà tất cả các nút đều có thể truy cập; bộ lập kế hoạch trực tuyến sử dụng mô hình chi phí bao gồm cả tác nhân con và quản lý ngữ cảnh để điều chỉnh tỷ lệ giữa hai phía; bộ quản lý KV phân tán xóa lịch sử đã bị nén thay thế và ngữ cảnh của các tác nhân con đã kết thúc dựa trên tín hiệu quản lý ngữ cảnh từ tác nhân. Các tác giả cho biết khi chạy các tác nhân lập trình, toán học và thao tác máy tính bằng GLM-5.2 và Kimi K2.6 trên tối đa 256 card GB300, so với khung sản xuất Dynamo của NVIDIA, độ trễ trung bình end-to-end và thời gian token đầu tiên P95 giảm lần lượt tối đa 4.1 lần và 14 lần.
Tại sao quan trọng Các tác nhân như lập trình hay thao tác máy tính thường xuyên tái sử dụng và nén ngữ cảnh, việc lập lịch theo loại tải này có thể giảm đáng kể độ trễ mà không cần đo lường ngoại tuyến
Thích 10 · Số sao mã nguồn 12
Lý do
- Hoàn toàn thích ứng trực tuyến, không cần đo lường ngoại tuyến; README cũng tuyên bố thông lượng tối đa gấp 2.7 lần so với Dynamo
- Kho lưu trữ được thiết kế theo hướng "giao cho tác nhân lập trình vận hành": triển khai, kết nối Claude Code / Codex, tái hiện bài báo và gỡ lỗi đều được viết dưới dạng các tệp kỹ năng (skill files), kèm theo hình ảnh chạy x86_64 và aarch64
- Các tác giả đã công bố bộ dữ liệu vết truy cập của tác nhân crmsndu/evolving-infra-traces trên Hugging Face
Cách sử dụng
- Mã nguồn: https://github.com/mit-han-lab/EvolvingInfra(MIT;引擎和路由核心源自 SGLang, giữ nguyên giấy phép Apache-2.0)
- Yêu cầu tác nhân lập trình triển khai mô hình theo skills/deploy-stack/SKILL.md, sau đó kết nối Claude Code hoặc Codex với địa chỉ định tuyến theo skills/connect-harness/SKILL.md
Rủi ro
- Hướng tới cụm máy chủ nhiều nút: việc tái hiện kết quả bài báo một lần chiếm khoảng hai giờ trên chín nút GPU, người dùng đơn card không thể sử dụng
- Đối tượng so sánh chỉ có NVIDIA Dynamo, các số liệu do tác giả báo cáo; mục này chưa được chạy thử