Khi các mô hình lớn đa phương thức thực hiện quy hoạch robot / công việc nhà, chúng thường không biết khi nào một hành động có thể được thực hiện trong môi trường hiện tại và thế giới sẽ thay đổi như thế nào sau khi thực hiện. CausGround không thay đổi tham số mô hình, mà thay vào đó chắt lọc các bản ghi tương tác (quan sát trước và sau hành động cùng với thành công/thất bại) thành kiến thức nhân quả lấy hành động làm trung tâm: các điều kiện tiền đề và tác động trạng thái của mỗi hành động, được tổ chức trong biểu diễn trạng thái thế giới gồm “thuộc tính đối tượng + quan hệ đối tượng”. Khi quy hoạch, hệ thống trích xuất các phụ thuộc liên quan từ đồ thị theo nhiệm vụ, suy ngược tiền đề và suy thuận tác động, rồi cung cấp thông tin này làm ngữ cảnh cho mô hình lớn.
Thích 3 · Số sao mã nguồn 1
Lý do
- Không cần huấn luyện, đa mô hình: Các tác giả báo cáo rằng trên phiên bản VirtualHome đã được chỉnh sửa, tỷ lệ thành công nhiệm vụ trung bình tăng từ 24.9% lên 53.3%, quy hoạch vòng kín trên RoboCasa tăng từ 43.0% lên 57.0%, và suy luận tương tác SWITCH tăng từ 25.8% lên 31.9%; bảng trong README bao gồm ba mô hình nền tảng Qwen3.5-9B, 27B và 35B-A3B.
- Có thể xây dựng đồ thị cho môi trường của riêng bạn: Mỗi bản ghi chỉ cần cung cấp “quan sát trước hành động, hành động, quan sát sau hành động, kết quả”; nếu đã có trạng thái thế giới dạng cấu trúc thì chỉ cần Python 3.10 trở lên, còn nếu quan sát dạng văn bản hoặc hình ảnh thì dùng Qwen3.5-9B qua vLLM để tự động trích xuất.
- Mã nguồn, dữ liệu tương tác VirtualHome (Hugging Face YijunShen/CausGround) và đồ thị RoboCasa đều đã được công bố, kết quả truy vấn được xuất trực tiếp thành context.txt để mô hình lớn sử dụng.
Cách dùng
- Mã nguồn: github.com/Intelligent-Interaction/CausGround; để xây dựng đồ thị VirtualHome: tải trajectories.jsonl.xz rồi chạy python -m causground build --input … --effect-policy virtualhome --output outputs/virtualhome.
- Lấy ngữ cảnh nhiệm vụ: python -m causground query --graph … --task "Turn on the computer." --mode causal (chế độ causal suy ngược từ mục tiêu, chế độ semantic dùng truy xuất văn bản, chế độ hybrid kết hợp cả hai; chế độ semantic mặc định dùng TF-IDF ngoại tuyến, cũng có thể chuyển sang Qwen3-Embedding-0.6B).
- Môi trường của riêng bạn: python -m causground build --format text|image --backend vllm --model-path models/Qwen3.5-9B --input đường_dẫn_tệp_quỹ_đạo_của_bạn.
Rủi ro
- Kho mã nguồn tạo ra ngữ cảnh cho mô hình quy hoạch (context.txt / subgraph.json), README không mô tả đầy đủ vòng lặp quy hoạch—thực thi và các tập lệnh đánh giá trên từng chuẩn benchmark trong bài báo, nên việc tái hiện tỷ lệ thành công trong bài báo đòi hỏi bạn phải tự tích hợp.
- Cần có đủ bản ghi tương tác trước khi xây dựng đồ thị (VirtualHome sử dụng 60,957 bản ghi), chi phí khởi động lạnh cho môi trường hoàn toàn mới chưa được đề cập; README không ghi rõ giấy phép.
- Mức độ cải thiện là do các tác giả báo cáo, các thí nghiệm trên robot thực tế chỉ có mô tả định tính.