LynnReal-Hand: Mô hình thế giới video được điều khiển bằng chuyển động của bàn tay

Các mô hình thế giới video tương tác cho phép khám phá cảnh quan bằng văn bản và góc máy quay, nhưng việc tương tác trực tiếp với các vật thể đòi hỏi sự kiểm soát chi tiết hơn. LynnReal-Hand đã tổng hợp 100K đoạn clip tương tác từ các cảnh thực tế và tổng hợp, sử dụng giám sát tập trung vào bàn tay để cải thiện chuyển động ngón tay và chi tiết tiếp xúc; sau đó học ánh xạ dòng chảy nhân quả để tạo sinh với ít bước, kết hợp chưng cất điểm số theo vùng với các tiên nghiệm video và hình ảnh, đồng thời huấn luyện bộ giải mã Ultra-Fast-VAE gọn nhẹ để giảm độ trễ. Các tác giả cho biết trên HandBench, mô hình toàn bộ chuỗi có FVD 181.67, MANO Dice 93.02, còn mô hình nhân quả ba bước có Dice 92.49; trên một card H200 với 540p, việc tạo sinh theo dòng chảy đạt 18.03 FPS, độ trễ 741ms và mức sử dụng VRAM đỉnh điểm là 34.89GB.

Tiêu đề gốc: LynnReal-Hand: Unlocking World Interaction with Hand Control

Các mô hình thế giới video tương tác cho phép khám phá cảnh quan bằng văn bản và góc máy quay, nhưng việc tương tác trực tiếp với các vật thể đòi hỏi sự kiểm soát chi tiết hơn. LynnReal-Hand đã tổng hợp 100K đoạn clip tương tác từ các cảnh thực tế và tổng hợp, sử dụng giám sát tập trung vào bàn tay để cải thiện chuyển động ngón tay và chi tiết tiếp xúc; sau đó học ánh xạ dòng chảy nhân quả để tạo sinh với ít bước, kết hợp chưng cất điểm số theo vùng với các tiên nghiệm video và hình ảnh, đồng thời huấn luyện bộ giải mã Ultra-Fast-VAE gọn nhẹ để giảm độ trễ. Các tác giả cho biết trên HandBench, mô hình toàn bộ chuỗi có FVD 181.67, MANO Dice 93.02, còn mô hình nhân quả ba bước có Dice 92.49; trên một card H200 với 540p, việc tạo sinh theo dòng chảy đạt 18.03 FPS, độ trễ 741ms và mức sử dụng VRAM đỉnh điểm là 34.89GB.

Tại sao quan trọng Các mô hình thế giới tương tác thường chỉ có thể được điều khiển bằng văn bản và góc máy quay; mô hình này cho phép bàn tay trực tiếp cầm nắm và thả vật thể, các tác giả tuyên bố rằng chỉ cần một card đồ họa là có thể tạo sinh theo dòng chảy thời gian thực

Lượt thích 2 · Số sao mã nguồn 11

Lý do

  • Đã phát hành hai gói tạo sinh: Base toàn bộ chuỗi và Fast nhân quả ba bước (bản xem trước), cùng với bộ giải mã Ultra-Fast-VAE riêng biệt; các gói tạo sinh bao gồm VAE gốc của MiniMax H3 và bộ mã hóa Qwen
  • Hỗ trợ các hành động đưa tay ra, cầm nắm, thả và phối hợp hai tay; đồng thời cho phép kiểm soát quỹ đạo máy quay; kho lưu trữ đi kèm bảy nhóm ví dụ với hình ảnh khởi tạo, video bàn tay, vị trí máy quay và kết quả tham chiếu
  • Fast chỉ giữ lại khối hiện tại, khối trước đó và khung hình đầu tiên cố định làm ngữ cảnh, do đó bộ nhớ đệm chú ý (attention cache) không tăng liên tục trong quá trình tạo sinh theo dòng chảy

Cách sử dụng

  • Mã nguồn: https://github.com/LynnReal-AI/LynnReal(MiniMax giấy phép cộng đồng H3); trọng số nằm trên tài khoản shaohao011 của Hugging Face, tải xuống bằng lệnh python scripts/download_weights.py --component fast
  • Trước tiên chạy lynnreal-hand validate để kiểm tra đầu vào ví dụ (không cần GPU), sau đó dùng lynnreal-hand prepare để tạo bộ nhớ đệm điều kiện, rồi chạy lynnreal-hand infer --config configs/fast.json để xuất video; thêm --accelerated để sử dụng đường dẫn tăng tốc trên một card

Rủi ro

  • Cả hai mô hình đều có 33B tham số, môi trường tham chiếu là một card H200; hình ảnh khởi tạo, video bàn tay và vị trí máy quay phải nhất quán về trường nhìn và đồng bộ thứ tự khung hình, đầu vào chỉ chấp nhận một số lượng khung hình cố định
  • Giấy phép cộng đồng của MiniMax H3 không áp dụng cho EU, Vương quốc Anh, Hàn Quốc và Hoa Kỳ, việc sử dụng thương mại còn có các điều khoản bổ sung
  • Kết quả do các tác giả báo cáo; mục này chưa được chạy thử nghiệm

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất