Tiêu đề gốc: What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?
Tác giả sử dụng Pass@(K,T) — với độ rộng lấy mẫu K và độ sâu tương tác (ngân sách vòng) T — để đánh giá lại học tăng cường đa vòng cho tác nhân: lợi thế của RL ở cấp độ quỹ đạo phụ thuộc vào ngân sách vòng đủ lớn; khi ngân sách bị thắt chặt, lợi thế này thu hẹp đáng kể hoặc thậm chí đảo ngược. RL không cải thiện phổ quát chất lượng quyết định từng bước; lợi thế chủ yếu tập trung vào khả năng phục hồi sau lỗi và sự kiên trì trong các nhiệm vụ dài hạn. Để giảm thiểu rủi ro triển khai do sự phụ thuộc vào ngân sách này, tác giả đã thảo luận sơ bộ về ưu và nhược điểm của các tín hiệu giám sát quá trình, đồng thời đề xuất BudgetMix RL: trong quá trình huấn luyện, các nhóm khác nhau được cung cấp các ngân sách vòng khác nhau và rõ ràng, mà tác giả cho biết là hoạt động ổn định trong nhiều thiết lập thực thi.
Thích 33 · Số sao mã nguồn 16
Lý do
- Một lời nhắc nhở cho các nhóm huấn luyện và đánh giá tác nhân: "Đừng chỉ nhìn vào tỷ lệ thành công trung bình". Trong các kịch bản triển khai bị giới hạn số vòng, lợi ích mà RL mang lại có thể bị giảm đáng kể.
- Công cụ đã được mã nguồn mở (MIT): đánh giá ngân sách chặt, đánh giá tiền tố lỗi (ai quyết định tốt hơn và ai phục hồi tốt hơn trong cùng một trạng thái và ngân sách còn lại), động lực huấn luyện, lập kế hoạch và kiểm toán BudgetMix, cùng với phân tích khả năng / NLL và tín hiệu quá trình; đánh giá cốt lõi chỉ sử dụng thư viện chuẩn Python, có thể kết nối với điểm cuối chat HTTP hoặc quỹ đạo JSONL của riêng bạn.
- Trong ngày đăng tải, bài viết nhận được 33 lượt thích, xếp hạng thứ 5, với 16 sao mã nguồn (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- Sau khi
git clone https://github.com/GaryStack/Rethinking-Agent-RL, chạypython -m pip install -e .(Python 3.11 trở lên), sử dụngard doctor --jsonđể kiểm tra môi trường, và chạyard toolkit-demo --output runs/toolkit-walkthroughđể tạo năm báo cáo so sánh (sử dụng chiến lược được lập trình sẵn, không cần GPU, trọng số hay kết nối mạng), sau đó mởruns/toolkit-walkthrough/index.htmlđể xem. - Để đánh giá mô hình của bạn: sử dụng
ard eval budgetvàard compaređể xem tỷ lệ thành công ở các giá trị K, T khác nhau; sử dụngard pool errorscùng vớiard eval step/ard eval recoveryđể thực hiện đánh giá tiền tố lỗi; sử dụngard budgetmix plan/auditđể cấu hình huấn luyện BudgetMix (tùy chọn bộ chuyển đổi VeRL).
Rủi ro
- Tác giả ghi rõ rằng các ví dụ và kiểm tra kỹ thuật trong kho lưu trữ không phải là sự tái tạo các con số từ bài báo; trọng số mô hình, đánh giá riêng tư, quỹ đạo thô và kết quả thực nghiệm đầy đủ đều chưa được công bố.
- BudgetMix RL là một giải pháp sơ bộ theo như tác giả mô tả, và tóm tắt không cung cấp mức độ cải thiện cụ thể.