SteerDistill: Giáo viên kèm cặp sửa lỗi, giúp tác nhân sau khi lượng tử hóa ít mắc lỗi hơn

Lượng tử hóa ở độ chính xác thấp khiến các tác nhân bỏ qua các yêu cầu của nhiệm vụ hoặc điều kiện môi trường, dẫn đến các quỹ đạo khác biệt so với mô hình độ chính xác đầy đủ. SteerDistill cho phép sinh viên lượng tử hóa thử lại từ lịch sử và trạng thái môi trường trước khi mắc lỗi; giáo viên độ chính xác đầy đủ bị đóng băng sẽ liên tục điều chỉnh hướng dẫn dựa trên phản hồi thực thi cho đến khi bước đó vượt qua xác minh cục bộ. Sau đó, sinh viên được huấn luyện mà không có hướng dẫn, bắt chước "bản thân sau khi được hướng dẫn" trong các lượt đã được sửa lỗi, và bắt chước giáo viên trong các lượt còn lại; khi suy luận, không cần đến giáo viên nữa. Các tác giả cho biết trên năm benchmark tác nhân và ba mô hình, điểm trung bình ở cấu hình W4A16 cao hơn 1.67–2.18 điểm so với baseline lượng tử hóa mạnh nhất, và chênh lệch với BF16 chưa tới 1 điểm; trên τ²-Bench, tỷ lệ thành công cao hơn QeRL 1.84 điểm phần trăm, trong khi thời lượng GPU huấn luyện giảm 67%.

Tiêu đề gốc: SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering

Lượng tử hóa ở độ chính xác thấp khiến các tác nhân bỏ qua các yêu cầu của nhiệm vụ hoặc điều kiện môi trường, dẫn đến các quỹ đạo khác biệt so với mô hình độ chính xác đầy đủ. SteerDistill cho phép sinh viên lượng tử hóa thử lại từ lịch sử và trạng thái môi trường trước khi mắc lỗi; giáo viên độ chính xác đầy đủ bị đóng băng sẽ liên tục điều chỉnh hướng dẫn dựa trên phản hồi thực thi cho đến khi bước đó vượt qua xác minh cục bộ. Sau đó, sinh viên được huấn luyện mà không có hướng dẫn, bắt chước "bản thân sau khi được hướng dẫn" trong các lượt đã được sửa lỗi, và bắt chước giáo viên trong các lượt còn lại; khi suy luận, không cần đến giáo viên nữa. Các tác giả cho biết trên năm benchmark tác nhân và ba mô hình, điểm trung bình ở cấu hình W4A16 cao hơn 1.67–2.18 điểm so với baseline lượng tử hóa mạnh nhất, và chênh lệch với BF16 chưa tới 1 điểm; trên τ²-Bench, tỷ lệ thành công cao hơn QeRL 1.84 điểm phần trăm, trong khi thời lượng GPU huấn luyện giảm 67%.

Tại sao quan trọng Lượng tử hóa giúp tiết kiệm chi phí suy luận, nhưng các tác nhân thường bỏ sót các yêu cầu nhiệm vụ do đó; phương pháp này bù đắp phần lớn tổn thất, đồng thời tiết kiệm tài nguyên tính toán huấn luyện so với các giải pháp học tăng cường

Thích 31 · Số sao mã nguồn 7

Lý do

  • Mã nguồn bao phủ toàn bộ quy trình: chuẩn bị dữ liệu, hiệu chỉnh cắt tỉa, xuất mô hình lượng tử hóa, chưng cất trực tuyến và đánh giá; chạy thử nghiệm mẫu của Qwen3-8B trên BFCL V4 chỉ với một lệnh
  • Hỗ trợ Qwen3-8B (W4A16, W4A8, W2A16), Qwen3.5-4B và Gemma 4 12B-it; các benchmark gồm BFCL V4, tau2-Bench, WebShop, ALFWorld, Search QA

Cách sử dụng

  • Mã nguồn: giấy phép https://github.com/air-embodied-brain/SteerDistill(MIT)
  • Cài đặt môi trường theo README, điền đường dẫn checkpoint BF16 sau khi học tăng cường vào configs/local.env, rồi chạy bash scripts/run/run_benchmark.sh full --model qwen3_8b --benchmark bfcl_v4; đánh giá tìm kiếm web yêu cầu cấu hình SERPAPI_API_KEY

Rủi ro

  • Checkpoint lượng tử hóa đã huấn luyện chưa được công bố (README đánh dấu TODO), cần tự huấn luyện từ mô hình BF16 sau khi học tăng cường
  • Cấu hình huấn luyện tham khảo sử dụng 8 card A100 80GB, ngoài ra cần môi trường suy luận và benchmark riêng biệt
  • Kết quả do tác giả báo cáo; mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo

Hugging Face Daily Papers

Xem tin AI mới nhất