Tiêu đề gốc: Code World Model 2.0: Towards Infinite Controllable Video Generation
Công trình của Ant Inclusion AI, Đại học Tây Hồ và Đại học Chiết Giang. Trạng thái thế giới được giữ lại trong engine phía thượng nguồn, sử dụng các “đại lý thị giác” (các video cấu trúc như bản đồ ngữ nghĩa, hộp 3D thưa, mặt nạ chủ thể, hình học được tô màu, hộp có khung xương, v.v.) để cố định đường đi của máy quay, bố cục cảnh và chuyển động của vật thể, sau đó mô hình video Invoker-Render tạo ra vật liệu và ánh sáng dựa trên các đại lý, một hình ảnh tham chiếu ngoại quan và văn bản. Nó bao gồm một mô hình sáng tạo ngoại tuyến hai chiều và một mô hình dòng chảy nhân quả bốn bước, với dữ liệu huấn luyện khoảng 200 giờ; để tránh sự chồng chéo của việc nén số bước và trôi dạt tự hồi quy, các tác giả đề xuất phương pháp Ép buộc Tiến dần (ProForcing): trước tiên huấn luyện bộ dự đoán nhân quả và chưng cất thành bộ kết xuất bốn bước, sau đó chuyển sang huấn luyện trên các quỹ đạo tự sinh liên tục. Bài báo cáo cho biết các cảnh đua xe có thể được tạo liên tục và ổn định trong 30 phút, với sự nhất quán về cảnh và ngoại quan của chủ thể.
Tại sao quan trọng Tách biệt “cách thế giới vận động” và “hình ảnh trông như thế nào”, cho phép chỉ định chính xác máy quay và chuyển động; các tác giả tuyên bố có thể tạo liên tục trong nửa giờ mà không bị trôi dạt
Lượt thích 14 · Số sao mã nguồn 132
Lý do
- README tuyên bố rằng trên 140 quỹ đạo kiểm tra giữ lại (hold-out), mô hình xếp hạng nhất ở cả bốn tiêu chí đánh giá, với điểm Elo tổng cộng là 1343.2, so với SolarRenderer (phiên bản nhân quả) là 1245.3
- Các đại lý thô và mịn có thể được chọn vào thời gian chạy: cung cấp hình học mịn sẽ tuân thủ các ràng buộc mịn, chỉ cung cấp hộp thô cũng có thể bổ sung chuyển động cục bộ hợp lý; bản demo bao gồm điều khiển thời gian thực bằng tay cầm và so sánh hai lộ trình máy quay trong cùng một cảnh
- Trọng số inclusionAI/invoker-render-1.0 đã được phát hành (dựa trên DiT dòng chảy nhân quả của MiniMax-H3, khoảng 33B tham số), kèm theo dịch vụ phiên WebSocket, máy khách tệp và máy khách trình duyệt
Cách sử dụng
- Mã nguồn: https://github.com/inclusionAI/CodeWorldModel;权重:https://huggingface.co/inclusionAI/invoker-render-1.0(FP32 khoảng 132.5 GB, không bao gồm các tệp hỗ trợ như VAE, Qwen, bộ giải mã nhân quả, v.v., cần chuẩn bị riêng)
- Sau khi thiết lập môi trường theo docs/INFERENCE.md: chạy invoker_render.py prepare để tạo gói suy luận, serve để khởi động dịch vụ, infer để truyền vào khung hình đầu tiên 1344×768, video đại lý 24 FPS (số khung hình là 17N+5, tối thiểu 39 khung hình) và lời nhắc, đầu ra là video.mp4
Rủi ro
- Cấu hình production mặc định yêu cầu 8 GPU trên một máy; bản demo 30 phút đã sử dụng chiến lược chất lượng tham chiếu hướng dẫn không được bật trong dịch vụ mặc định
- Giấy phép là Apache-2.0 cộng với các điều khoản CC BY-NC 4.0 (phi thương mại); phương pháp và dữ liệu huấn luyện chưa được công khai. Mục này chưa được chạy thử
Mở · Mã nguồn · Trang bài báo