Lorsque les grands modèles multimodaux sont utilisés pour la planification robotique ou domestique, ils ignorent souvent quand une action peut être exécutée dans l'environnement actuel et comment le monde change après son exécution. CausGround ne modifie pas les paramètres du modèle, mais distille les enregistrements d'interaction (observations avant et après l'action, succès ou échec) en connaissances causales centrées sur l'action : les préconditions et les effets sur l'état de chaque action sont organisés dans une représentation de l'état du monde basée sur les « attributs des objets + relations entre objets ». Lors de la planification, les dépendances pertinentes sont extraites du graphe selon la tâche, les préconditions sont déduites à rebours et les effets sont déduits en avant, puis fournis comme contexte au grand modèle.
J'aime 3 · Étoiles du code 1
Raison
- Sans entraînement, inter-modèles : les auteurs affirment que le taux de réussite moyen des tâches sur VirtualHome modifié passe de 24.9% à 53.3%, la planification en boucle fermée sur RoboCasa passe de 43.0% à 57.0%, et le raisonnement interactif sur SWITCH passe de 25.8% à 31.9% ; le tableau du README couvre trois modèles de base : Qwen3.5-9B, 27B et 35B-A3B.
- Possibilité de construire un graphe pour son propre environnement : chaque enregistrement nécessite simplement « observation avant l'action, action, observation après l'action, résultat » ; si l'état du monde est déjà structuré, il suffit d'avoir Python 3.10+ ; pour les observations textuelles ou visuelles, Qwen3.5-9B via vLLM effectue l'extraction automatique.
- Le code, les données d'interaction VirtualHome (disponibles sur Hugging Face YijunShen/CausGround) et les graphes RoboCasa sont tous publiés, et les résultats des requêtes sont directement sortis dans un fichier context.txt destiné au grand modèle.
Utilisation
- Code : github.com/Intelligent-Interaction/CausGround ; pour construire le graphe VirtualHome : après avoir téléchargé trajectories.jsonl.xz, exécutez python -m causground build --input … --effect-policy virtualhome --output outputs/virtualhome.
- Récupération du contexte de la tâche : python -m causground query --graph … --task "Turn on the computer." --mode causal (causal déduit les préconditions à partir de l'objectif, semantic utilise la recherche textuelle, hybrid combine les deux ; semantic utilise par défaut TF-IDF hors ligne, mais peut être remplacé par Qwen3-Embedding-0.6B).
- Pour votre propre environnement : python -m causground build --format text|image --backend vllm --model-path models/Qwen3.5-9B --input vos_trajectoires.
Risques
- Le dépôt produit du contexte pour le modèle de planification (context.txt / subgraph.json), mais le README ne fournit pas de boucle complète planification-exécution ni de scripts d'évaluation pour les différents benchmarks du papier ; il faut donc implémenter soi-même la reproduction des taux de réussite du papier.
- Il faut d'abord disposer de suffisamment d'enregistrements d'interaction pour construire le graphe (VirtualHome en utilise 60,957) ; le coût de démarrage à froid pour un nouvel environnement n'est pas précisé ; le README ne mentionne pas de licence.
- Les améliorations rapportées sont celles des auteurs, et les expériences sur de vrais robots ne sont décrites que qualitativement.