CausGround:把交互经验变成“动作前提—效果”因果图的具身规划(Causal Interaction Grounding for Adaptive Embodied Planning)

多模态大模型做机器人 / 家务规划时,常不知道某个动作在当前环境里什么时候能执行、执行后世界会怎么变。CausGround 不改模型参数,而是把交互记录(动作前后的观察和成败)提炼成以动作为中心的因果知识:每个动作的前提条件和状态效果,组织在“物体属性 + 物体关系”的世界状态表示里。规划时按任务从图里取出相关依赖,倒推前提、正推效果,作为上下文交给大模型。

多模态大模型做机器人 / 家务规划时,常不知道某个动作在当前环境里什么时候能执行、执行后世界会怎么变。CausGround 不改模型参数,而是把交互记录(动作前后的观察和成败)提炼成以动作为中心的因果知识:每个动作的前提条件和状态效果,组织在“物体属性 + 物体关系”的世界状态表示里。规划时按任务从图里取出相关依赖,倒推前提、正推效果,作为上下文交给大模型。

点赞 3 · 代码星数 1

理由

  • 免训练、跨模型:作者称在改造后的 VirtualHome 上平均任务成功率从 24.9% 提到 53.3%,RoboCasa 闭环规划从 43.0% 到 57.0%,SWITCH 交互推理从 25.8% 到 31.9%;README 表格覆盖 Qwen3.5-9B、27B、35B-A3B 三个骨干。
  • 可以给自己的环境建图:每条记录给“动作前观察、动作、动作后观察、结果”即可;已经是结构化世界状态时只要 Python 3.10+,文本或图像观察则用 Qwen3.5-9B 经 vLLM 自动抽取。
  • 代码、VirtualHome 交互数据(抱脸 YijunShen/CausGround)和 RoboCasa 图都已放出,查询结果直接输出给大模型用的 context.txt。

用法

  • 代码:github.com/Intelligent-Interaction/CausGround;建 VirtualHome 图:下载 trajectories.jsonl.xz 后 python -m causground build --input … --effect-policy virtualhome --output outputs/virtualhome。
  • 取任务上下文:python -m causground query --graph … --task "Turn on the computer." --mode causal(causal 从目标倒推,semantic 文本检索,hybrid 两者结合;semantic 默认离线 TF-IDF,也可换 Qwen3-Embedding-0.6B)。
  • 自己的环境:python -m causground build --format text|image --backend vllm --model-path models/Qwen3.5-9B --input 你的轨迹。

风险

  • 仓库产出的是给规划模型的上下文(context.txt / subgraph.json),README 没写完整的规划—执行闭环和论文各基准的评测脚本,复现论文成功率要自己接。
  • 要先有足够的交互记录才能建图(VirtualHome 用了 60,957 条),全新环境的冷启动成本未说明;README 未写许可证。
  • 提升幅度为作者报告,真实机器人实验只有定性描述。

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态