멀티모달 대규모 모델이 로봇/가사 작업을 계획할 때, 특정 동작이 현재 환경에서 언제 실행 가능한지, 실행 후 세계가 어떻게 변하는지 모르는 경우가 많습니다. CausGround는 모델 파라미터를 수정하지 않고, 상호작용 기록(동작 전후의 관찰 및 성공/실패)을 동작 중심의 인과 지식으로 추출합니다. 각 동작의 전제 조건과 상태 효과를 '객체 속성 + 객체 관계'로 구성된 세계 상태 표현으로 조직화합니다. 계획 시 작업에 따라 그래프에서 관련 의존성을 추출하고, 전제 조건을 역추적하며 효과를 정방향으로 추론하여 이를 컨텍스트로 대규모 모델에 전달합니다.
좋아요 3 · 코드 스타 수 1
이유
- 학습 불필요, 모델 간 호환: 저자들은 수정된 VirtualHome에서 평균 작업 성공률이 24.9%에서 53.3%로 향상되고, RoboCasa 폐루프 계획이 43.0%에서 57.0%로, SWITCH 상호작용 추론이 25.8%에서 31.9%로 향상되었다고 보고했습니다. README의 표는 Qwen3.5-9B, 27B, 35B-A3B 세 가지 백본을 다룹니다.
- 자체 환경용 그래프 구축 가능: 각 기록에 '동작 전 관찰, 동작, 동작 후 관찰, 결과'만 제공하면 됩니다. 이미 구조화된 세계 상태인 경우 Python 3.10+만 필요하며, 텍스트 또는 이미지 관찰의 경우 Qwen3.5-9B를 vLLM을 통해 자동 추출합니다.
- 코드, VirtualHome 상호작용 데이터(하그페이스 YijunShen/CausGround) 및 RoboCasa 그래프가 모두 공개되었으며, 쿼리 결과는 대규모 모델이 직접 사용할 수 있는 context.txt로 출력됩니다.
사용법
- 코드: github.com/Intelligent-Interaction/CausGround; VirtualHome 그래프 구축: trajectories.jsonl.xz를 다운로드한 후 python -m causground build --input … --effect-policy virtualhome --output outputs/virtualhome 실행.
- 작업 컨텍스트 가져오기: python -m causground query --graph … --task "Turn on the computer." --mode causal 실행(causal은 목표에서 역추적, semantic은 텍스트 검색, hybrid은 두 방법 결합; semantic은 기본적으로 오프라인 TF-IDF를 사용하며, Qwen3-Embedding-0.6B로 교체 가능).
- 자체 환경: python -m causground build --format text|image --backend vllm --model-path models/Qwen3.5-9B --input 사용자 궤적 실행.
리스크
- 저장소는 계획 모델용 컨텍스트(context.txt / subgraph.json)를 생성하지만, README에는 완전한 계획-실행 폐루프 및 논문 내 각 벤치마크에 대한 평가 스크립트가 명시되어 있지 않아, 논문 보고된 성공률을 재현하려면 직접 구현해야 합니다.
- 그래프 구축을 위해 충분한 상호작용 기록이 필요하며(VirtualHome의 경우 60,957개 사용), 완전히 새로운 환경에서의 콜드 스타트 비용은 명시되지 않았습니다. 또한 README에 라이선스 정보가 없습니다.
- 성능 향상 폭은 저자들이 보고한 수치이며, 실제 로봇 실험은 정성적 설명만 제공됩니다.
열기 · 코드 · 하그페이스 논문 페이지