При планировании робототехники или домашних задач с помощью мультимодальных больших языковых моделей часто возникает проблема: модель не знает, когда в текущей среде можно выполнить определенное действие и как изменится мир после его выполнения. CausGround не изменяет параметры модели, а извлекает из записей взаимодействия (наблюдения до и после действия, а также успех или неудача) причинные знания, ориентированные на действия: предпосылки и эффекты состояния каждого действия организованы в представлении состояния мира, основанном на «атрибутах объектов + отношениях между объектами». Во время планирования из графа извлекаются соответствующие зависимости для конкретной задачи, предпосылки выводятся назад, а эффекты — вперед, и эта информация передается большой языковой модели в качестве контекста.
Лайки 3 · Звезды в коде 1
Причины
- Обучение не требуется, работает с разными моделями: авторы сообщают, что на модифицированной платформе VirtualHome средняя успешность выполнения задач выросла с 24.9% до 53.3%, успешность замкнутого цикла планирования в RoboCasa — с 43.0% до 57.0%, а качество интерактивного рассуждения в SWITCH — с 25.8% до 31.9%; таблица в README охватывает три базовые модели: Qwen3.5-9B, 27B и 35B-A3B.
- Можно строить графы для собственной среды: каждая запись должна содержать «наблюдение до действия, действие, наблюдение после действия, результат»; если состояние мира уже структурировано, достаточно Python 3.10+, а для текстовых или визуальных наблюдений используется Qwen3.5-9B через vLLM для автоматического извлечения.
- Код, данные взаимодействия VirtualHome (репозиторий YijunShen/CausGround) и графы RoboCasa уже опубликованы; результаты запросов напрямую выводятся в файл context.txt для использования большой языковой моделью.
Использование
- Код: github.com/Intelligent-Interaction/CausGround; для построения графа VirtualHome: после загрузки trajectories.jsonl.xz выполните python -m causground build --input … --effect-policy virtualhome --output outputs/virtualhome.
- Получение контекста для задачи: python -m causground query --graph … --task "Turn on the computer." --mode causal (режим causal выполняет обратный вывод от цели, semantic использует текстовый поиск, hybrid комбинирует оба подхода; по умолчанию semantic использует офлайн TF-IDF, но можно заменить на Qwen3-Embedding-0.6B).
- Для собственной среды: python -m causground build --format text|image --backend vllm --model-path models/Qwen3.5-9B --input ваши_траектории.
Риски
- Репозиторий предоставляет контекст для модели планирования (context.txt / subgraph.json), но в README нет полного описания замкнутого цикла «планирование — исполнение» и скриптов оценки для всех бенчмарков из статьи; для воспроизведения успешности, указанной в статье, интеграцию нужно выполнять самостоятельно.
- Для построения графа требуется достаточное количество записей взаимодействия (в VirtualHome использовано 60,957 записей); стоимость холодного старта для совершенно новой среды не указана; в README не указана лицензия.
- Указанные улучшения приведены по данным авторов; эксперименты на реальных роботах описаны только качественно.