ForceHarness: API 호출만 가능한 대규모 모델에 촉각 기능 부여

싱가포르 국립대학교 Show Lab의 연구입니다. 최신 멀티모달 모델은 이미지를 보고 제로샷으로 로봇을 제어할 수 있지만, 많은 조작 작업은 이미지로 확인할 수 없는 접촉력에 의존합니다. ForceHarness는 미세 조정 없이 API 호출만 가능한 모델에 촉각 기능을 제공합니다. 먼저 손목 힘 센서 또는 관절 토크만으로 손의受力를 보정합니다. 접촉 변화가 모델의 의사결정보다 훨씬 빠르므로, '자가 종료형 힘 제어 원시 동작'(누르기, 미끄러짐, 탐색, 삽입, 비틀기, 들어 올리기, 당기기 등)이 모델 하위에서 스스로 힘을 조절하고 접촉 이벤트 발생 시 반환합니다. 이후 물리 변환 계층이 힘 곡선을 불확실성이 포함된 물리량(질량, 마찰, 강성, 접촉 높이 등)으로 변환하여 도구 결과로 제공합니다. 저자들은 숨겨진 물리 변수를 포함한 7개의 작업이 있는 MuJoCo 벤치마크 HiddenPhys를 추가로 개발했습니다.

원제: ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models

싱가포르 국립대학교 Show Lab의 연구입니다. 최신 멀티모달 모델은 이미지를 보고 제로샷으로 로봇을 제어할 수 있지만, 많은 조작 작업은 이미지로 확인할 수 없는 접촉력에 의존합니다. ForceHarness는 미세 조정 없이 API 호출만 가능한 모델에 촉각 기능을 제공합니다. 먼저 손목 힘 센서 또는 관절 토크만으로 손의受力를 보정합니다. 접촉 변화가 모델의 의사결정보다 훨씬 빠르므로, '자가 종료형 힘 제어 원시 동작'(누르기, 미끄러짐, 탐색, 삽입, 비틀기, 들어 올리기, 당기기 등)이 모델 하위에서 스스로 힘을 조절하고 접촉 이벤트 발생 시 반환합니다. 이후 물리 변환 계층이 힘 곡선을 불확실성이 포함된 물리량(질량, 마찰, 강성, 접촉 높이 등)으로 변환하여 도구 결과로 제공합니다. 저자들은 숨겨진 물리 변수를 포함한 7개의 작업이 있는 MuJoCo 벤치마크 HiddenPhys를 추가로 개발했습니다.

왜 중요한가 많은 조작 작업은 이미지로 확인할 수 없는 접촉력에 의존합니다. 저자들은 시연 및 미세 조정이 필요 없으며, 손목 힘 센서가 없는 실제 로봇에서도 성공률이 한 자릿수에서 90%로 상승했다고 주장합니다.

좋아요 39 · 코드 스타 수 32

이유

  • 저자들은 손목 힘 센서가 없는 실제 Franka FR3에서 GPT-6 Astra의 제로샷 성공률이 3.3%에서 90.0%으로 상승했다고 주장합니다(README: 54/60)
  • 시뮬레이션에서 ForceBench는 17.5%포인트, HiddenPhys는 34.3%포인트 향상되어 시연으로 학습된 촉각 전략을 능가했으며, HiddenPhys에서는 수작업으로 작성된 전문가 컨트롤러와 동등한 성능을 보였습니다
  • 추상화 분석 결과: 소규모 모델에 원시 힘 값 대신 물리량을 제공했을 때 의사결정이 현저히 더 좋았습니다

사용법

  • 코드: https://github.com/showlab/ForceHarness(MIT);pip install -e ".[dev]"로 핵심 및 오프라인 테스트를 설치한 후, ".[sim]"(robosuite 1.5.1, mujoco 3.2.7)을 설치하여 HiddenPhys를 실행하고, python -m forceharness.doctor로 환경을 확인합니다
  • 시뮬레이터나 API 키가 필요 없는 첫 단계: python scripts/run_episode.py --task weight_sort --agent scripted --backend fake; 모델 연결 시 .env에 OpenAI 또는 Anthropic 키를 입력합니다
  • 저장소에는 프로그래밍 에이전트용 설치 스킬 skills/forceharness-setup이 포함되어 있으며, 하드웨어를 단계별로 확인하고 이동식 로봇 팔을 움직이기 전에 사용자 확인을 요구합니다. 시연 데이터는 Hugging Face Jack97/ForceHarness-Data에 있습니다

리스크

  • 유료 최신 모델 API를 호출해야 합니다. 실제 로봇 참고 구현은 Franka FR3과 Polymetis만 지원하며, 다른 로봇 팔은 백엔드를 직접 이식해야 합니다
  • README에 따르면 논문에서 사용된 ForceBench 시드는 개발 중 사용되어 홀드아웃 집합으로 간주되지 않으며, 새로운 시드로 테스트한 결과 62.5% → 82.5%로 나타났습니다. 모든 성능 지표는 저자들이 보고한 것이며, 본 항목에서는 실행하지 않았습니다

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기