PrimeSim

PrimeSim là mô hình thế giới đa góc nhìn có điều kiện hành động, dựa trên Wan2.2-TI2V-5B: đầu vào gồm khung hình đầu tiên từ mỗi góc nhìn camera, một câu lệnh và quỹ đạo hành động, để tạo ra các cảnh tiếp theo. Các tác giả cho biết mô hình được huấn luyện bằng dữ liệu kéo dài 30,110 giờ bao phủ 22 nền tảng robot, dẫn đầu ở bốn trong năm hạng mục của bài kiểm tra mô phỏng WorldSimProbe và đạt điểm tổng thể cao nhất trên EWMBench. Cung cấp trọng số cơ sở từ giai đoạn huấn luyện trung gian (dùng để tinh chỉnh) và trọng số suy luận nhân quả ít bước từ giai đoạn thứ tư; khi suy luận, ba góc nhìn được tạo đồng thời ở độ phân giải 192×256, với tốc độ mà các tác giả tuyên bố là vượt quá 10 FPS.

PrimeSim là mô hình thế giới đa góc nhìn có điều kiện hành động, dựa trên Wan2.2-TI2V-5B: đầu vào gồm khung hình đầu tiên từ mỗi góc nhìn camera, một câu lệnh và quỹ đạo hành động, để tạo ra các cảnh tiếp theo. Các tác giả cho biết mô hình được huấn luyện bằng dữ liệu kéo dài 30,110 giờ bao phủ 22 nền tảng robot, dẫn đầu ở bốn trong năm hạng mục của bài kiểm tra mô phỏng WorldSimProbe và đạt điểm tổng thể cao nhất trên EWMBench. Cung cấp trọng số cơ sở từ giai đoạn huấn luyện trung gian (dùng để tinh chỉnh) và trọng số suy luận nhân quả ít bước từ giai đoạn thứ tư; khi suy luận, ba góc nhìn được tạo đồng thời ở độ phân giải 192×256, với tốc độ mà các tác giả tuyên bố là vượt quá 10 FPS.

Tại sao quan trọng Sử dụng video sinh thành thay vì mô phỏng vật lý để diễn tập trước các thao tác của robot, ba góc nhìn camera được tạo đồng thời, và trọng số có thể sử dụng cho mục đích thương mại.

Hug Likes 2 · Hug Rising Score 2 · Hug Downloads 201

Giấy phép: Thương mại hóa được · ComfyUI: Chưa có · VRAM: 24 GB

Lý do

  • Giấy phép Apache-2.0, bài báo, trang dự án, mã suy luận và mã huấn luyện đều đã được công khai

Cách sử dụng

  • Tải bộ mã hóa văn bản, VAE và tokenizer từ Wan2.2-TI2V-5B, cấu hình đường dẫn theo kho lưu trữ GitHub rồi chạy ví dụ bằng primesim_posttrain_g2

Rủi ro

  • Khuyến nghị sử dụng A100 hoặc H100 80GB, vì cần giữ đồng thời trong bộ nhớ cả backbone 5B và bộ mã hóa văn bản 11 GB, nên card đồ họa 24 GB không đủ chỗ
  • Dữ liệu huấn luyện không công khai; các con số đánh giá do tác giả tự báo cáo

Mở

抱脸 world-model 标签

Xem tin AI mới nhất