VibePrevisBench: Đánh giá tác nhân AI xây dựng cảnh quay trước (pre-visualization) bằng Blender

Các mô hình tạo video chân thực có thể kiểm soát được có thể sử dụng video đại diện bằng mô hình xám đã kết xuất làm điều kiện, cố định bố cục, chuyển động và vị trí máy quay; các tác nhân lập trình có thể tái dựng cảnh 4D trong Blender để tạo ra loại video này. VibePrevisBench bao gồm 242 nhiệm vụ, với đầu vào thuộc bốn loại: kịch bản, ảnh, viết tiếp và video tham chiếu; các tác nhân cần biến yêu cầu tóm tắt thành cảnh 4D có thể thực thi được và kết xuất video đại diện. Việc chấm điểm gồm hai phần: Scene Check dựa trên quy tắc chạy lại mã để so sánh cảnh đã xuất với dữ liệu chuẩn ẩn theo chín tiêu chí; Screen Check dựa trên VLM sử dụng mô hình thị giác để xác định xem các sự kiện đã được thông qua có thể nhận ra trong video hay không. Các tác giả đã phân tích 11 tác nhân lập trình tiên tiến: khả năng hiểu đa phương thức (đặc biệt là về không gian và chuyển động máy quay) tạo ra khoảng cách về hiệu suất, các vị trí máy quay cơ bản và điều phối cảnh đều đã được làm chủ nhưng các yêu cầu khó hơn thường thất bại, và các tác nhân có kiểm tra kết xuất của chính mình nhưng không sửa đúng lỗi.

Tựa đề gốc: VibePrevisBench: Đánh giá lập trình tác nhân cho việc tạo cảnh 3D trong Blender 4

Các mô hình tạo video chân thực có thể kiểm soát được có thể sử dụng các video đại diện dạng mô hình xám đã được kết xuất làm điều kiện, cố định bố cục, chuyển động và vị trí máy quay; các tác nhân lập trình có thể tái dựng các cảnh 4D trong Blender để tạo ra những video như vậy. VibePrevisBench bao gồm 242 nhiệm vụ, với đầu vào được chia thành bốn loại: kịch bản, ảnh, phần viết tiếp theo và video tham chiếu; các tác nhân cần biến các bản tóm tắt yêu cầu (brief) thành các cảnh 4D có thể thực thi được và kết xuất các video đại diện. Việc chấm điểm gồm hai phần: Scene Check dựa trên quy tắc sẽ chạy lại mã nguồn để so sánh cảnh đã xuất với dữ liệu chuẩn ẩn (ground truth) trên chín khía cạnh; Screen Check dựa trên VLM sử dụng mô hình thị giác để xác định xem các sự kiện được đánh giá là đạt có thể nhận ra trong video hay không. Các tác giả đã phân tích 11 tác nhân lập trình tiên tiến nhất: khả năng hiểu đa phương thức (đặc biệt là về không gian và chuyển động máy quay) tạo ra khoảng cách về hiệu suất, trong khi các vị trí máy quay cơ bản và điều phối cảnh quay đều đã được nắm vững nhưng các yêu cầu khó hơn thường thất bại; các tác nhân có kiểm tra kết xuất của chính mình nhưng không thể sửa đúng các lỗi.

Tại sao quan trọng Việc tạo video có thể kiểm soát được sử dụng video dựng cảnh trước dạng mô hình xám để xác định bố cục, chuyển động và vị trí máy quay; bộ tiêu chuẩn này đồng thời kiểm tra cả bản thân cảnh và khung hình đã render

Lượt thích 84 · Số sao mã nguồn 12

Lý do

  • Trong bảng xếp hạng tổng thể do các tác giả công bố, GPT-6 Astra (Codex CLI) đứng đầu, tiếp theo là GPT-6.1 Sol và Gemini 4 Argon; các mô hình nội địa Trung Quốc như DeepSeek, Kimi, GLM và Doubao cũng có mặt trong bảng xếp hạng
  • Kho mã nguồn đi kèm kỹ năng Claude Code vibeprevisbench-eval, cho phép chạy toàn bộ quy trình kiểm tra môi trường, tải dữ liệu, thực thi, phát lại và chấm điểm chỉ bằng một lệnh; mỗi nhiệm vụ chạy trong một sandbox Docker độc lập, không cần GPU
  • Nhiệm vụ, chú thích và quy tắc chấm điểm được lưu trữ trên Hugging Face Dataset tại Kling-Keye/vibeprevisbench

Cách sử dụng

  • Mã nguồn: giấy phép Apache-2.0 https://github.com/vibeprevisbench/vibeprevisbench(代码, dữ liệu và chú thích theo CC BY-NC-SA 4.0)
  • Chuẩn bị một máy chủ Linux có cài đặt Docker, Python 3.12 và ffmpeg, khởi động Claude Code tại thư mục gốc của kho mã nguồn và nhập /vibeprevisbench-eval, trước tiên chạy thử nghiệm khói (smoke test) với bốn nhiệm vụ, sau đó chạy toàn bộ các nhiệm vụ

Rủi ro

  • Mỗi tác nhân chạy đồng thời cần 8 lõi CPU và 16GB RAM; việc đánh giá toàn diện sẽ phát sinh chi phí gọi API cho cả mô hình được kiểm tra và mô hình chấm điểm
  • Screen Check phụ thuộc vào việc chấm điểm bởi mô hình thị giác (bài báo sử dụng Gemini 4 Argon), điểm số không thể so sánh trực tiếp nếu thay đổi mô hình chấm điểm; ảnh và video tham chiếu của bên thứ ba không được phân phối kèm theo bộ dữ liệu, cần dùng script để tải từ nguồn gốc
  • Kết quả do các tác giả báo cáo; mục này chưa được chạy thử nghiệm

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất