Để các tác nhân robot hoạt động giống như các tác nhân lập trình: mô hình gọi 22 khả năng cơ bản (nhận thức, đo lường hình học, chuyển động cấp độ động học ngược) trong một phiên Python sandbox để viết mã điều khiển cánh tay robot, đọc lại phản hồi dạng văn bản từ mỗi lần gọi và tự quyết định khi nào gọi finish() để kết thúc. Quá trình huấn luyện tuân theo công thức của các tác nhân lập trình / web: trước tiên tinh chỉnh có giám sát bằng dữ liệu tổng hợp, sau đó thực hiện nhiều vòng học tăng cường; để phân bổ thành bại cuối cùng của một ván đấu cho hàng chục yêu cầu, các tác giả đã thêm một “bình luận viên vật lý” có thể đọc trạng thái thực tế của trình mô phỏng (mà chính sách không nhìn thấy), chấm điểm dựa trên mức độ thay đổi xác suất thành công sau mỗi yêu cầu.
Thích 18 · Số sao mã nguồn 50
Lý do
- Các tác giả cho biết Qwen3.5-4B đạt 0% khi zero-shot, 55.4% trên tập giữ lại LIBERO sau SFT, và 73.8% sau RL; 78.5% trên LIBERO-PRO, vượt qua một số tác nhân mô hình tiên tiến; chỉ được huấn luyện trên LIBERO, nhưng đạt 83.3% khi zero-shot trên SimplerEnv WidowX, và chạy thành công trên robot thật.
- Khi kiểm thử không sử dụng các mô hình lớn tiên tiến, không dùng VLA, không đọc trạng thái đặc quyền, mà chỉ là một mô hình 4B.
- Cung cấp đầy đủ: trọng số CaPtain-4B / CaPtain-4B-SFT, dữ liệu SFT, khung đánh giá CaPtain-Harness, mã huấn luyện SFT và RL cùng cơ sở hạ tầng rollout trực tuyến đều đã được mở, mã nguồn theo giấy phép MIT.
Cách sử dụng
- git clone --recursive github.com/waltstephen/CaPtain, vào thư mục harness/ chạy scripts/setup_third_party.sh, tạo môi trường LIBERO và môi trường Python sandbox 3.11 cho tác nhân theo README (yêu cầu bubblewrap phiên bản 0.5 trở lên).
- Chạy harness/scripts/download_models.sh để tải SAM 3, Molmo2-8B và CaPtain-4B; chạy services/start_perception.sh để khởi động dịch vụ nhận thức, chạy services/serve_policy.sh YijiaFan/CaPtain-4B 8600 để khởi động chính sách bằng vLLM.
- Chạy một ván đấu: eval/run_episode.sh libero_spatial 0 11 runs/demo; khung đánh giá hỗ trợ bất kỳ giao diện tương thích OpenAI nào, cũng có thể dùng để kiểm thử mô hình của riêng bạn hoặc các mô hình tiên tiến.
Rủi ro
- Tái tạo quá trình huấn luyện rất tốn kém: README ghi rằng SFT sử dụng 16 thẻ H100 trong khoảng 7.6 giờ, RL mất khoảng 1,290 giờ GPU; việc đánh giá cũng cần một thẻ để chạy chính sách và một thẻ để chạy nhận thức và kết xuất.
- Dữ liệu SFT được tổng hợp bởi các mô hình đóng mã nguồn; khi chuyển sang RoboTwin, SimplerEnv, v.v., đã sử dụng nhiều đầu vào hơn so với quan sát chính thức (độ sâu, hiệu chuẩn camera, cảm biến lực cổ tay, v.v.), README đã liệt kê chi tiết từng mục.
- Trọng số SAM 3 tuân theo giấy phép SAM License, trọng số mô hình tuân theo Qwen3.5-4B (Apache-2.0); các kết quả báo cáo là do tác giả cung cấp.