Tiêu đề gốc: Video-Coder: Reinforcing Agentic Coding for Video Generation
Chất lượng hình ảnh của các mô hình tạo video đã rất cao, nhưng việc kiểm soát chính xác cấu trúc không gian, chuyển động và bố cục cảnh quay vẫn còn khó khăn. Video-Coder huấn luyện một tác nhân lập trình trên nền tảng Qwen3.5-9B, tự động viết và thực thi các chương trình Python trong Blender để dựng các cảnh 3D động; các “video nháp” được render sẽ đóng vai trò tín hiệu về cấu trúc và chuyển động, được chuyển giao cho mô hình tạo video ở giai đoạn sau (README sử dụng MiniMax-H3); quá trình huấn luyện bắt đầu bằng SFT, sau đó thực hiện học tăng cường trong môi trường thực thi tự xây dựng, với phần thưởng dựa trên cả khả năng thực thi mã và chất lượng video cuối cùng. Các tác giả cho biết khi kết hợp với MiniMax-H3, điểm trung bình trên PhyGenBench tăng từ 0.61 lên 0.67, và VBench-2.0 tăng từ 54.58% lên 78.19%.
Tại sao quan trọng Bố cục đối tượng, chuyển động và góc quay được xác định bởi mã có thể thực thi, giúp cấu trúc không gian của video được tạo ra trở nên kiểm soát tốt hơn; mô hình, dữ liệu và mã huấn luyện đều đã được công khai
Lượt thích 16 · Số sao mã nguồn 25
Lý do
- Hướng tới tạo video có kiểm soát: vị trí đối tượng, quỹ đạo chuyển động và góc quay được xác định bởi cảnh 3D có thể thực thi, phù hợp cho các cảnh quay đòi hỏi khắt khe về quan hệ không gian
- Mô hình (Video-Coder-9B và phiên bản SFT), dữ liệu huấn luyện và toàn bộ mã huấn luyện SFT + học tăng cường đều đã được mã nguồn mở
- Mô hình tạo video ở giai đoạn sau và mô hình đánh giá có thể thay thế, README hướng dẫn rằng chỉ cần thay đổi cấu hình phần thưởng là có thể sử dụng các bộ tạo khác
Cách sử dụng
- Mã nguồn: https://github.com/CYWang735/Video-Coder;权重:抱脸 Video-Coder/Video-Coder-9B (cũng có Video-Coder-SFT-9B), bộ dữ liệu Video-Coder/Train-Data
- Suy luận gồm hai bước: trước tiên tạo video nháp Blender trong môi trường cách ly Apptainer bằng run_inference.sh (đồng thời lưu lại kịch bản render main.py), sau đó dùng run_batch.sh trong thư mục dịch vụ MiniMax-H3 để chuyển đổi video nháp thành video hoàn chỉnh
Rủi ro
- Phụ thuộc nặng: cần môi trường cách ly Blender và mô hình tạo video được triển khai riêng biệt, quá trình huấn luyện học tăng cường của các tác giả sử dụng 8 card H100, cộng thêm 4 card cho mỗi dịch vụ MiniMax-H3
- Phần thưởng video trong giai đoạn học tăng cường gọi mô hình VLM đánh giá trên Alibaba Cloud DashScope, việc tái tạo quá trình huấn luyện yêu cầu API Key của dịch vụ này
- Điểm số là kết quả tự báo cáo của các tác giả trên hai bộ chuẩn, mục này chưa được chạy thử
Mở · Mã nguồn · Trang bài báo