EvoWorld: Cho phép mô hình thế giới video suy luận hậu quả của các sự kiện ngoài khung hình

Các mô hình tạo video giỏi trong việc vẽ ra những khung hình đáng tin cậy, nhưng thường không thể suy luận được thế giới sẽ biến đổi như thế nào sau khi một sự kiện xảy ra (ví dụ: sau khi một con thú dữ xuất hiện, những người xung quanh nên chạy trốn, ẩn nấp hay chống trả). EvoWorld sử dụng một mô hình ngôn ngữ thị giác đóng vai trò là “bộ não thế giới”, quan sát các đoạn video đã được tạo, duy trì trạng thái thế giới và suy luận hậu quả, sau đó một bộ kết xuất video tự hồi quy theo đoạn (dựa trên LTX-2) sẽ vẽ ra chúng, khiến những người và vật ngoài khung hình cũng tiếp tục biến đổi. Các tác giả đồng thời công bố dữ liệu huấn luyện EvoWorld-Data và bộ đánh giá EvoWorld-Bench, tuyên bố rằng phương pháp này vượt trội rõ rệt so với các mô hình gần đây trong việc tiến hóa nhân quả do sự kiện kích hoạt, đồng thời vẫn duy trì chất lượng hình ảnh và tính nhất quán khi quay lại.

Tiêu đề gốc: EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models

Các mô hình tạo video giỏi trong việc vẽ ra những khung hình đáng tin cậy, nhưng thường không thể suy luận được thế giới sẽ biến đổi như thế nào sau khi một sự kiện xảy ra (ví dụ: sau khi một con thú dữ xuất hiện, những người xung quanh nên chạy trốn, ẩn nấp hay chống trả). EvoWorld sử dụng một mô hình ngôn ngữ thị giác đóng vai trò là “bộ não thế giới”, quan sát các đoạn video đã được tạo, duy trì trạng thái thế giới và suy luận hậu quả, sau đó một bộ kết xuất video tự hồi quy theo đoạn (dựa trên LTX-2) sẽ vẽ ra chúng, khiến những người và vật ngoài khung hình cũng tiếp tục biến đổi. Các tác giả đồng thời công bố dữ liệu huấn luyện EvoWorld-Data và bộ đánh giá EvoWorld-Bench, tuyên bố rằng phương pháp này vượt trội rõ rệt so với các mô hình gần đây trong việc tiến hóa nhân quả do sự kiện kích hoạt, đồng thời vẫn duy trì chất lượng hình ảnh và tính nhất quán khi quay lại.

Tại sao quan trọng Người và vật phản ứng hợp lý sau khi sự kiện xảy ra, và mọi thứ vẫn khớp khi rời khỏi khung hình rồi quay lại, đưa việc tạo video từ chỗ trông giống thật tiến thêm một bước tới chỗ suy luận đúng đắn

Thích 19 · Số sao mã nguồn 22

Lý do

  • Thêm trạng thái thế giới tường minh và bước suy luận nhân quả cho các mô hình thế giới video, giải quyết vấn đề “khung hình hợp lý nhưng nhân vật không cử động, trước sau mâu thuẫn”
  • Đã công bố trọng số, dữ liệu huấn luyện, bộ đánh giá và kịch bản huấn luyện hai giai đoạn
  • Kho lưu trữ kèm theo ví dụ tạo video từ hình ảnh, các lời nhắc phản ứng trong ví dụ đã được tạo sẵn, có thể chạy mà không cần khởi động dịch vụ VLM

Cách sử dụng

  • Mã nguồn: https://github.com/Tommy-Bie/EvoWorld;权重:抱脸 Tommy-Bie/EvoWorld; Dữ liệu: Tommy-Bie/EvoWorld-Data, Tommy-Bie/EvoWorld-Bench
  • Cài đặt môi trường bằng uv sync rồi chạy ví dụ bằng scripts/infer_examples.sh --case media/example1; để suy luận trực tuyến, cần khởi động riêng dịch vụ VLM (xem docs/VLM_INFERENCE.md)

Rủi ro

  • Dựa trên LTX-2, các thành phần liên quan bị ràng buộc bởi giấy phép cộng đồng LTX-2.x, cần xem xét giấy phép trước khi sử dụng thương mại
  • Sự cải thiện chủ yếu được đo trên bộ đánh giá EvoWorld-Bench do tác giả tự xây dựng, tóm tắt không cung cấp số liệu cụ thể
  • Bài viết này chưa được chạy thử, hiệu ứng hình ảnh hãy lấy trang dự án làm chuẩn

Mở · Mã nguồn · Trang bài báo

Hugging Face Daily Papers

Xem tin AI mới nhất