Mô hình sinh động tác thời gian thực của NVIDIA: cung cấp tư thế gần nhất của nhân vật và tư thế mục tiêu tiếp theo cần đạt được, mô hình sẽ tạo ra chuỗi động tác liền mạch giữa hai trạng thái này, dùng cho hoạt ảnh xương người và làm động tác tham chiếu cho robot hình người Unitree G1; đi kèm là Smart Primitives biến các tư thế mục tiêu thành những “khối” có thể tái sử dụng, cho phép ghép nối các động tác đi bộ và tương tác với vật thể mà không cần huấn luyện lại.
Điểm tăng 73 · Lượt thích 74 · Lượt tải 0
Lý do
- Hai bộ trọng số: SOMA (khung xương người 30 khớp, khoảng 200 triệu tham số, được huấn luyện trên 313,526 đoạn dữ liệu từ Bones RigPlay 1) và Unitree G1 (34 khớp, khoảng 195 triệu tham số), hai tệp này không thể hoán đổi cho nhau.
- Mỗi bộ bao gồm ba mạng: VQ-VAE tư thế, bộ dự đoán tư thế và bộ dự đoán chuyển động gốc; đầu ra là động tác ở tần số 30 Hz, mỗi lần sinh ra 6–16 token (24–64 khung hình), các động tác dài hơn được tạo bằng cách đưa đầu ra làm ngữ cảnh để lặp lại quá trình sinh; mô hình không chấp nhận đầu vào dạng văn bản hay hình ảnh.
- Bài báo được công bố trên ACM Transactions on Graphics; trọng số tuân theo Thỏa thuận Mô hình Mở của NVIDIA (NVIDIA Open Model Agreement), cho phép sử dụng thương mại và phân phối lại các phiên bản đã chỉnh sửa, mã nguồn đi kèm theo giấy phép Apache 2.0. Được phát hành vào ngày 23 tháng 10, trước đó chưa từng được liệt kê trong các kỳ xuất bản.
Cách sử dụng
- Chỉ muốn xem hiệu ứng: sử dụng trực tiếp phần mềm NVlabs/motionbricks trên GitHub, đã bao gồm mô hình ONNX và các demo cho SOMA, G1 (dựa trên Newton và Warp), không cần tải trọng số từ đây; demo TensorRT yêu cầu GPU NVIDIA khi chạy.
- Muốn tự xuất ONNX hoặc dùng runtime khác: chạy lệnh
hf download nvidia/MotionBricks --include "soma/\*"(hoặc"g1/\*"), giữ nguyên cấu trúc thư mục và làm theo hướng dẫn trongtools/onnxcủa kho phần mềm để xuất; trình xuất chạy trên CPU, yêu cầu Python 3.12, PyTorch 2.14.0+cpu.
Rủi ro
- Mô hình sinh ra động tác, không phải bộ điều khiển robot: khi triển khai lên robot thật vẫn cần bộ điều khiển theo dõi riêng, kiểm tra giới hạn khớp và xác minh an toàn.
- Thẻ mô hình không cung cấp điểm đánh giá end-to-end, cũng như độ trễ suy luận và thông lượng; trọng số không phải là mô hình Transformers
from_pretrained, không bao gồm quy trình huấn luyện và dữ liệu huấn luyện. - Các mẫu động tác BONES đi kèm chỉ được phép sử dụng cho mục đích kiểm thử đánh giá nội bộ (Giấy phép Đánh giá Dữ liệu Mẫu của NVIDIA); gói G1 không chứa thư viện động tác dùng trong demo gốc.
Biên tập: data.json phân loại nó là mô hình ngôn ngữ, nhưng thực tế nó sinh động tác, nên ở đây được chuyển sang phân loại sinh tạo.