Giúp tác nhân trở nên mạnh mẽ hơn bằng cách sử dụng các lần thử trước đó của chính nó mà không cập nhật tham số: cùng một mô hình thực hiện một vài lần thử nghiệm cho tác vụ, sau đó một "huấn luyện viên" được gọi một lần để tổng hợp các bản ghi thực thi và sản phẩm thành một hướng dẫn được sắp xếp theo từng bước (đường dẫn cụ thể, giá trị, lệnh và các lỗi cần tránh), cuối cùng "học sinh" thực hiện lại từ trạng thái ban đầu của tác vụ, quyết định tuân theo, điều chỉnh hay bỏ qua dựa trên quan sát thực tế. Các bước thử nghiệm, tổng hợp và thực thi đều sử dụng cùng một mô hình cơ sở, không có giáo viên mạnh hơn.
Thích 11 · Số sao mã nguồn 0
Lý do
- Tác giả tuyên bố rằng trên bốn bộ chuẩn Terminal-Bench 2.0, Spider2-Lite, AndroidWorld và BrowseComp-Plus, phương pháp này cải thiện trung bình 9.9 điểm phần trăm (dòng GPT) và 8.8 điểm phần trăm (dòng Claude) so với việc thực thi mà không có hướng dẫn.
- Tiết kiệm hơn so với việc nhét trực tiếp lịch sử: trên BrowseComp-Plus, số token sử dụng để tổng hợp hướng dẫn ít hơn 98.2% (GPT) và 95.5% (Claude) so với AggAgent đã được cải tiến (theo tác giả).
- README cung cấp so sánh chi phí: mô hình giá rẻ kết hợp với ReGE đạt tỷ lệ thành công trung bình 67.4% trên 468 tác vụ, tương đương với các mô hình đắt tiền hơn, với chi phí mỗi tác vụ chỉ khoảng 28% so với chúng (bao gồm chi phí tạo ra các lần thử, tính theo giá niêm yết, theo tác giả).
Cách sử dụng
- Mã nguồn: github.com/TIGER-AI-Lab/ReGE (MIT, Python 3.11+), pip install -r requirements.txt; tất cả các cuộc gọi mô hình đều đi qua giao diện tương thích OpenAI, khóa API được ghi trong .env.
- Mỗi bộ chuẩn có một tập lệnh quy trình riêng: scripts/run_tb2.sh gpt (Terminal-Bench 2.0), run_spider.sh, run_androidworld.sh, run_bcp.sh, cuối cùng chạy python scripts/summarize.py để tổng hợp tỷ lệ thành công; thay thế gpt bằng claude để chuyển đổi dòng mô hình.
- Phần cốt lõi là lời nhắc cho huấn luyện viên và tổng hợp hướng dẫn, xem src/guidance_moa_experiment.py và src/aggregate_deliverable.py, có thể chuyển sang quy trình thử lại nhiều lần hoặc tác nhân song song của riêng bạn.
Rủi ro
- Điều kiện tiên quyết là cùng một tác vụ có thể được thử lại nhiều lần và đặt lại về trạng thái ban đầu; mỗi câu hỏi cần chạy 4 lần thử trước, tổng chi phí khoảng 5 lần so với một lần thực thi đơn lẻ (bảng README), trên tập con AndroidWorld trong bảng 5 của README, mô hình giá rẻ kết hợp với hướng dẫn lại giảm nhẹ hiệu suất.
- Terminal-Bench yêu cầu Docker, AndroidWorld yêu cầu nhiều trình giả lập Android, BrowseComp-Plus yêu cầu tự xây dựng dịch vụ truy xuất vector, việc chuẩn bị môi trường khá nặng nề; tất cả các số liệu đều do tác giả báo cáo.
Mở · Mã nguồn · Trang bài báo