マルチモーダル大規模モデルがロボットや家事の計画を行う際、あるアクションが現在の環境でいつ実行可能か、また実行後に世界がどのように変化するかを認識できないことがよくあります。CausGroundはモデルのパラメータを変更するのではなく、インタラクション記録（アクション前後の観察と成否）から、アクション中心の因果知識を抽出します。各アクションの前提条件と状態効果を、「物体属性＋物体関係」という世界状態表現に整理して構成します。計画時にはタスクに応じてグラフから関連する依存関係を抽出し、前提を逆算し、効果を順方向に推論して、大規模モデルへのコンテキストとして提供します。
いいね 3 · コードスター数 1
理由
- 学習不要・モデル間移植性：著者によると、改造されたVirtualHome上での平均タスク成功率が 24.9% から 53.3% に向上し、RoboCasaのクローズドループ計画では 43.0% から 57.0% に、SWITCHインタラクション推論では 25.8% から 31.9% に向上しました。READMEの表は、Qwen3.5-9B、27B、35B-A3B の3つのバックボーンモデルをカバーしています。
- 独自環境でのグラフ構築が可能：各記録に「アクション前の観察、アクション、アクション後の観察、結果」を提供するだけでOKです。すでに構造化された世界状態である場合はPython 3.10+ で十分ですが、テキストまたは画像の観察データの場合はQwen3.5-9BをvLLM経由で自動抽出に使用します。
- コード、VirtualHomeインタラクションデータ（Hugging Face YijunShen/CausGround）、およびRoboCasaグラフがすべて公開されており、クエリ結果は大規模モデル用に直接使用できるcontext.txtとして出力されます。
使い方
- コード：github.com/Intelligent-Interaction/CausGround；VirtualHomeグラフの構築：trajectories.jsonl.xz をダウンロード後、python -m causground build --input … --effect-policy virtualhome --output outputs/virtualhome を実行します。
- タスクコンテキストの取得：python -m causground query --graph … --task "Turn on the computer." --mode causal（causalは目標から逆算、semanticはテキスト検索、hybridは両者を組み合わせます。semanticはデフォルトでオフラインTF-IDFを使用しますが、Qwen3-Embedding-0.6B に変更することも可能です）。
- 独自環境の場合：python -m causground build --format text|image --backend vllm --model-path models/Qwen3.5-9B --input あなたのトラジェクトリデータ。
リスク
- リポジトリが生成するのは計画モデル用のコンテキスト（context.txt / subgraph.json）であり、READMEには完全な計画—実行クローズドループや論文の各ベンチマークの評価スクリプトは記載されていません。論文の成功率を再現するには自分で実装する必要があります。
- グラフ構築には十分なインタラクション記録が必要であり（VirtualHomeでは 60,957 件使用）、全く新しい環境でのコールドスタートコストについては説明されていません。また、READMEにライセンス情報が記載されていません。
- 性能向上幅は著者による報告値であり、実ロボット実験については定性的な記述のみです。
開く · コード · Hugging Face論文ページ