ForceHarness:让只能调 API 的大模型用上力觉

新加坡国立大学 Show Lab 的工作。前沿多模态模型已能看图零样本控制机器人,但很多操作取决于图像看不到的接触力。ForceHarness 让只能通过 API 调用、不做微调的模型用上力觉:先用腕部力传感器或仅凭关节力矩标定手部受力;接触变化比模型决策快得多,所以由“自终止力控原语”(按压、滑动、搜索、插入、拧、提、拉等)在模型之下自己调节力、遇到接触事件就返回;再由物理翻译层把力曲线换算成带不确定度的物理量(质量、摩擦、刚度、接触高度等)作为工具结果。作者另做了 7 个任务、含隐藏物理变量的 MuJoCo 基准 HiddenPhys。

原题:ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models

新加坡国立大学 Show Lab 的工作。前沿多模态模型已能看图零样本控制机器人,但很多操作取决于图像看不到的接触力。ForceHarness 让只能通过 API 调用、不做微调的模型用上力觉:先用腕部力传感器或仅凭关节力矩标定手部受力;接触变化比模型决策快得多,所以由“自终止力控原语”(按压、滑动、搜索、插入、拧、提、拉等)在模型之下自己调节力、遇到接触事件就返回;再由物理翻译层把力曲线换算成带不确定度的物理量(质量、摩擦、刚度、接触高度等)作为工具结果。作者另做了 7 个任务、含隐藏物理变量的 MuJoCo 基准 HiddenPhys。

为什么重要 很多操作靠图像看不到的接触力;作者称不用示范和微调,没有腕部力传感器的真机成功率也从个位数升到九成

点赞 39 · 代码星数 32

理由

  • 作者称在没有腕部力传感器的真实 Franka FR3 上,GPT-6 Astra 零样本成功率从 3.3% 升到 90.0%(README:54/60)
  • 仿真中 ForceBench 提高 17.5 个百分点、HiddenPhys 提高 34.3 个百分点,超过用示范训练的力觉策略,在 HiddenPhys 上与手写专家控制器持平
  • 消融显示:给小模型物理量比给原始力值做出的决策明显更好

用法

  • 代码:https://github.com/showlab/ForceHarness(MIT);pip install -e ".[dev]" 装核心和离线测试,再装 ".[sim]"(robosuite 1.5.1、mujoco 3.2.7)跑 HiddenPhys,python -m forceharness.doctor 检查环境
  • 不需要模拟器和 API Key 的第一步:python scripts/run_episode.py --task weight_sort --agent scripted --backend fake;接模型时在 .env 填 OpenAI 或 Anthropic 的 Key
  • 仓库附给编程代理用的安装技能 skills/forceharness-setup,逐关检查硬件、移动机械臂前要人确认;示范数据在抱脸 Jack97/ForceHarness-Data

风险

  • 要调用付费的前沿模型 API;真机参考实现只有 Franka FR3 加 Polymetis,别的机械臂要自己移植后端
  • README 说明论文里 ForceBench 的种子在开发时用过、不算留出集,另用新种子测得 62.5% → 82.5%;成绩都是作者报告,本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态