ForceHarness:API呼び出しのみが可能な大規模モデルに触覚機能を提供する

シンガポール国立大学 Show Lab の研究成果。最先端のマルチモーダルモデルは、画像を見てゼロショットでロボットを制御できるが、多くの操作は画像では見えない接触力に依存している。ForceHarness は、API 経由でのみ呼び出され、ファインチューニングを行わないモデルに触覚機能を提供する。まず、手首の力センサーまたは関節トルクのみを用いて手の受力をキャリブレーションする。接触の変化はモデルの意思決定よりもはるかに速いため、「自己終了型力制御プリミティブ」(押す、滑らせる、探索する、挿入する、回す、持ち上げる、引くなど)がモデルの下層で自ら力を調整し、接触イベントが発生すると返却する。さらに、物理翻訳層が力曲線を不確実性を伴う物理量(質量、摩擦、剛性、接触高さなど)に変換し、ツール結果として提供する。著者らはさらに、隠された物理変数を含む MuJoCo ベンチマーク HiddenPhys を、7 個のタスクで構成して作成した。

原题:ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models

シンガポール国立大学 Show Lab の研究成果。最先端のマルチモーダルモデルは、画像を見てゼロショットでロボットを制御できるが、多くの操作は画像では見えない接触力に依存している。ForceHarness は、API 経由でのみ呼び出され、ファインチューニングを行わないモデルに触覚機能を提供する。まず、手首の力センサーまたは関節トルクのみを用いて手の受力をキャリブレーションする。接触の変化はモデルの意思決定よりもはるかに速いため、「自己終了型力制御プリミティブ」(押す、滑らせる、探索する、挿入する、回す、持ち上げる、引くなど)がモデルの下層で自ら力を調整し、接触イベントが発生すると返却する。さらに、物理翻訳層が力曲線を不確実性を伴う物理量(質量、摩擦、剛性、接触高さなど)に変換し、ツール結果として提供する。著者らはさらに、隠された物理変数を含む MuJoCo ベンチマーク HiddenPhys を、7 個のタスクで構成して作成した。

なぜ重要か 多くの操作は画像では見えない接触力に依存している。著者らは、デモやファインチューニングなしで、手首の力センサーがない実機でも成功率が一桁台から9割に向上したと述べている

いいね 39 · コードのスター数 32

理由

  • 著者らは、手首の力センサーがない実際の Franka FR3 において、GPT-6 Astra のゼロショット成功率が 3.3% から 90.0% に向上したと述べている(README:54/60)
  • シミュレーションにおいて、ForceBench で 17.5 ポイント、HiddenPhys で 34.3 ポイント向上し、デモを用いて訓練された触覚戦略を上回り、HiddenPhys では手書きのエキスパートコントローラーと同等の性能を示した
  • アブレーション実験により、小規模モデルに物理量を与える方が、生の力値を与えるよりも意思決定が明らかに優れていることが示された

使い方

  • コード:https://github.com/showlab/ForceHarness(MIT);pip install -e ".[dev]" でコアとオフラインテストをインストールし、さらに ".[sim]"(robosuite 1.5.1、mujoco 3.2.7)をインストールして HiddenPhys を実行する。python -m forceharness.doctor で環境を確認する
  • シミュレーターや API Key が必要ない最初のステップ:python scripts/run_episode.py --task weight_sort --agent scripted --backend fake。モデルを接続する場合は .env に OpenAI または Anthropic の Key を記入する
  • リポジトリには、プログラミングエージェント向けのインストールスキル skills/forceharness-setup が含まれており、ハードウェアを段階的にチェックし、マニピュレーターを動かす前に人間の確認を要求する。デモデータは Hugging Face の Jack97/ForceHarness-Data にある

リスク

  • 有料の最先端モデル API の呼び出しが必要。実機向けのリファレンス実装は Franka FR3 と Polymetis のみであり、他のマニピュレーターはバックエンドを独自に移植する必要がある
  • README には、論文内の ForceBench のシードは開発中に使用されており、ホールドアウトセットではないことが記載されている。別の新しいシードで測定すると 62.5% → 82.5% となった。すべての成績は著者による報告であり、本項目では実行していない

開く · コード · Hugging Face 論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る