Tựa đề gốc: ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models
Công trình của Show Lab tại Đại học Quốc gia Singapore. Các mô hình đa phương thức tiên tiến đã có thể điều khiển robot zero-shot bằng cách nhìn vào hình ảnh, nhưng nhiều thao tác phụ thuộc vào lực tiếp xúc mà hình ảnh không thể thấy được. ForceHarness cho phép các mô hình chỉ có thể gọi qua API và không cần fine-tune sử dụng được cảm giác lực: trước tiên hiệu chuẩn lực tác động lên tay thông qua cảm biến lực ở cổ tay hoặc chỉ dựa vào mô-men khớp; vì sự thay đổi tiếp xúc diễn ra nhanh hơn nhiều so với quyết định của mô hình, nên các "nguyên ngữ điều khiển lực tự kết thúc" (như ấn, trượt, tìm kiếm, chèn, vặn, nâng, kéo, v.v.) sẽ tự điều chỉnh lực ở tầng dưới mô hình và trả về khi gặp sự kiện tiếp xúc; sau đó lớp dịch vật lý chuyển đổi đường cong lực thành các đại lượng vật lý kèm độ bất định (khối lượng, ma sát, độ cứng, chiều cao tiếp xúc, v.v.) làm kết quả công cụ. Các tác giả cũng đã tạo ra một bộ chuẩn MuJoCo tên là HiddenPhys với 7 nhiệm vụ, chứa các biến vật lý ẩn.
Tại sao quan trọng Nhiều thao tác phụ thuộc vào lực tiếp xúc mà hình ảnh không thể thấy được; các tác giả tuyên bố rằng không cần mẫu demo và fine-tune, tỷ lệ thành công trên robot thật không có cảm biến lực ở cổ tay cũng tăng từ một chữ số lên chín mươi phần trăm
Thích 39 · Số sao mã nguồn 32
Lý do
- Các tác giả tuyên bố rằng trên robot Franka FR3 thật không có cảm biến lực ở cổ tay, tỷ lệ thành công zero-shot của GPT-6 Astra tăng từ 3.3% lên 90.0% (README: 54/60)
- Trong mô phỏng, ForceBench tăng 17.5 điểm phần trăm và HiddenPhys tăng 34.3 điểm phần trăm, vượt qua các chiến lược cảm giác lực được huấn luyện bằng mẫu demo, và ngang bằng với bộ điều khiển chuyên gia viết tay trên HiddenPhys
- Các thử nghiệm ablation cho thấy: cung cấp các đại lượng vật lý cho mô hình nhỏ tạo ra quyết định tốt hơn rõ rệt so với việc cung cấp giá trị lực thô
Cách sử dụng
- Mã nguồn: https://github.com/showlab/ForceHarness(MIT);pip install -e ".[dev]" để cài đặt lõi và kiểm thử ngoại tuyến, sau đó cài ".[sim]" (robosuite 1.5.1, mujoco 3.2.7) để chạy HiddenPhys, dùng python -m forceharness.doctor để kiểm tra môi trường
- Bước đầu tiên không cần trình mô phỏng và API Key: python scripts/run_episode.py --task weight_sort --agent scripted --backend fake; khi kết nối với mô hình, hãy điền Key của OpenAI hoặc Anthropic vào file .env
- Kho lưu trữ đi kèm kỹ năng cài đặt cho các tác nhân lập trình skills/forceharness-setup, kiểm tra phần cứng từng bước và yêu cầu xác nhận của con người trước khi di chuyển cánh tay robot; dữ liệu mẫu nằm trên Hugging Face Jack97/ForceHarness-Data
Rủi ro
- Cần gọi API mô hình tiên tiến trả phí; triển khai tham chiếu trên robot thật chỉ hỗ trợ Franka FR3 cùng Polymetis, các cánh tay robot khác cần tự chuyển đổi backend
- README giải thích rằng các seed của ForceBench trong bài báo đã được sử dụng trong quá trình phát triển và không tính là tập giữ lại (holdout set), khi đo với các seed mới thì kết quả là 62.5% → 82.5%; tất cả các số liệu đều do tác giả báo cáo, mục này chưa chạy thử