Invoker-Render là bộ kết xuất của Code World Model 2.0 (inclusionAI thuộc Ant Group, Đại học Tây Hồ, Đại học Chiết Giang): đầu vào gồm một đoạn video đại diện cấu trúc (bản đồ ngữ nghĩa, các hộp giới hạn 3D thưa thớt, mặt nạ đối tượng chính, hình học được tô màu hoặc các hộp có khung xương), một ảnh tham chiếu ngoại hình và văn bản; mô hình tạo video theo cách thức dòng chảy nhân quả với mỗi khối gồm 4 bước, trong đó mỗi khối chỉ xem xét các neo ngoại hình cố định và lịch sử gần đây hạn chế. Trọng số là mô hình chính FP32 với 33.12 tỷ tham số (khoảng 132.5 GB), kế thừa kiến trúc MiniMax-H3, mã suy luận dựa trên SGLang và SGLang-Omni, kèm theo dịch vụ phiên làm việc WebSocket và máy khách trình duyệt.
Tại sao quan trọng Máy quay, bố cục và chuyển động của vật thể được cố định bởi khung dây hoặc bản đồ ngữ nghĩa từ công cụ phía trước (upstream), mô hình chỉ vẽ chất liệu và ánh sáng, cho phép tạo liên tục theo dòng chảy; các tác giả đã minh họa cảnh đua xe kéo dài liên tục nửa giờ.
Lượt thích trên Hugging Face 8 · Điểm tăng hạng trên Hugging Face 8 · Lượt tải xuống trên Hugging Face 1989
Giấy phép: Phi thương mại · ComfyUI: Chưa có · VRAM: ≈80 GB (ước tính)
Lý do
- Kèm theo bài báo, trang dự án, mã suy luận và bản demo trực tuyến trên Hugging Face
- Các tác giả tuyên bố mô hình xếp thứ nhất trong cả bốn tiêu chí đánh giá bởi con người trên tập kiểm tra giữ lại 140 đoạn
Cách sử dụng
- Chuẩn bị môi trường và gói suy luận theo README và docs/INFERENCE.md tại github.com/inclusionAI/CodeWorldModel, đầu vào gồm ảnh khung hình đầu tiên kích thước 1344×768, video đại diện tốc độ khung hình 24 FPS và văn bản, chạy invoker_render.py để suy luận từ tệp hoặc khởi động dịch vụ phiên làm việc
Rủi ro
- Cấu hình production mặc định yêu cầu một máy chủ với 8 card đồ họa NVIDIA; kho lưu trữ không bao gồm VAE, Qwen, bộ giải mã nhân quả, v.v., cần chuẩn bị riêng
- Giấy phép là Apache-2.0 cộng với CC BY-NC 4.0, được xử lý như phi thương mại; phương pháp và dữ liệu huấn luyện chưa được công khai