Tựa đề gốc: Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents
Mô hình quyết định đưa ra đầu ra có kiểu dữ liệu (ví dụ: chọn một phương án và cung cấp xác suất cho từng phương án), cùng một mô hình có thể đóng vai trò “diễn viên” để chọn hành động, “trọng tài” để đánh giá các hành động đã thực hiện, hoặc “giáo viên” để chấm điểm từng bước nhằm huấn luyện chiến lược. Các tác giả đã so sánh ba mô hình quyết định và ba mô hình ngôn ngữ lớn tổng quát trên ALFWorld và WebShop. Khi đóng vai diễn viên, cả sáu mô hình đều bị thu hút bởi các mục tiêu phụ dễ dàng hơn và bỏ qua bước cần hoàn thành trước; khi đóng vai trọng tài, xem xét toàn bộ chuỗi hành động và được hỏi “bước này có hữu ích không”, chính những mô hình đó lại nhận ra được các bước quan trọng, trong khi nếu hỏi “nhiệm vụ có thành công không” thì điểm số ở mỗi bước gần như giống nhau. Các tác giả cho biết khi sử dụng JEV làm giáo viên, tỷ lệ thành công của chiến lược Qwen2.5-1.5B trên ALFWorld đã tăng từ 72.8% (với GRPO) lên 82.9%, và trên WebShop tăng từ 56.8% lên 71.4%.
Tại sao quan trọng Khi chọn mô hình chấm điểm cho học tăng cường, việc xem xét độ chính xác trong đánh giá của nó hữu ích hơn là xem xét hiệu suất tự thân của nó, đồng thời chi phí chấm điểm từng bước cũng thấp hơn
Thích 29 · Số sao mã nguồn 41
Lý do
- Đưa ra các khuyến nghị có thể áp dụng ngay: mô hình quyết định phù hợp để chấm điểm từng bước sau khi kết thúc một lượt chơi (như trong huấn luyện học tăng cường), không phù hợp để lọc hành động trực tuyến; có thể so sánh trước các trọng tài và cách đặt câu hỏi khác nhau trên các chuỗi hành động đã ghi lại, rồi mới quyết định dùng cái nào để chạy học tăng cường
- Chiến lược được huấn luyện cải thiện nhiều nhất ở những nhiệm vụ mà chính giáo viên hiếm khi hoàn thành, cuối cùng vượt qua cả giáo viên
Cách sử dụng
- Mã nguồn: https://github.com/ZJU-REAL/decision-agents(Apache-2.0,基于 verl-agent)
- Tạo môi trường cơ bản và môi trường WebShop riêng biệt theo README, chạy bash examples/decision_model/run_alfworld.sh hoặc run_webshop.sh; sử dụng TEACHER_CONTEXT (prefix / hindsight) và TEACHER_QUESTION (progress / value) để chuyển đổi phương pháp chấm điểm
Rủi ro
- Các tập lệnh huấn luyện mặc định kết nối với một giáo viên giả lập trong tiến trình, cần tự chỉ định backend thông qua tham số Hydra nếu muốn sử dụng mô hình quyết định thực tế; cách lấy JEV được đề cập trong bài báo không có hướng dẫn riêng trong kho mã nguồn
- Chỉ được xác minh trên hai môi trường ALFWorld, WebShop và chiến lược 1.5B; kết quả do các tác giả báo cáo, mục này chưa chạy thử