PartLock-CMU

PartLock-CMU là một mô hình chuyển đổi văn bản thành chuyển động theo dòng chảy (streaming) (bộ sinh có 3050 triệu tham số + bộ tokenizer chuyển động phân bộ phận có 750 triệu tham số), khi nhập các câu ngắn như walk, jump, salsa dance, nó sẽ liên tục tạo ra chuyển động toàn thân, thay đổi câu sau khoảng 0.13 giây sẽ có hiệu lực, các chuyển động chuyển tiếp liền mạch. Tác giả chỉ sử dụng 2308 đoạn trích từ thư viện ghi hình chuyển động CMU để huấn luyện trên một card RTX 3060, toàn bộ quy trình mất khoảng 3 giờ 50 phút; trên cùng card đó, mỗi bước (4 khung hình) mất 35–38 mili giây, nhanh hơn khoảng 3.5 lần so với yêu cầu thời gian thực. Đầu ra là vị trí và xoay của 22 khớp (theo thứ tự SMPL) ở tốc độ 30 fps, cần tự chuyển đổi (retarget) sang bộ xương nhân vật.

PartLock-CMU là một mô hình chuyển đổi văn bản thành chuyển động theo dòng chảy (streaming) (bộ sinh có 3050 triệu tham số + bộ tokenizer chuyển động phân bộ phận có 750 triệu tham số), khi nhập các câu ngắn như walk, jump, salsa dance, nó sẽ liên tục tạo ra chuyển động toàn thân, thay đổi câu sau khoảng 0.13 giây sẽ có hiệu lực, các chuyển động chuyển tiếp liền mạch. Tác giả chỉ sử dụng 2308 đoạn trích từ thư viện ghi hình chuyển động CMU để huấn luyện trên một card RTX 3060, toàn bộ quy trình mất khoảng 3 giờ 50 phút; trên cùng card đó, mỗi bước (4 khung hình) mất 35–38 mili giây, nhanh hơn khoảng 3.5 lần so với yêu cầu thời gian thực. Đầu ra là vị trí và xoay của 22 khớp (theo thứ tự SMPL) ở tốc độ 30 fps, cần tự chuyển đổi (retarget) sang bộ xương nhân vật.

Tại sao quan trọng Chỉ huấn luyện bằng thư viện ghi hình chuyển động CMU, tác giả tuyên bố có thể sử dụng trong các sản phẩm thương mại; card đồ họa NVIDIA dòng tiêu dùng có thể tạo ra chuyển động theo thời gian thực, dữ liệu bộ xương đầu ra có thể được liên kết lại với nhân vật.

HugFace Likes 1 · HugFace Rising Score 1 · HugFace Downloads 0

Giấy phép: Có thể sử dụng thương mại · ComfyUI: Chưa có · VRAM: ≈1 GB (ước tính)

Lý do

  • Mã nguồn và trọng số theo giấy phép Apache-2.0; thẻ mô hình ghi rõ dữ liệu huấn luyện, cách chia tập dữ liệu và các hạn chế, các ví dụ không được chọn lọc
  • Có sẵn trang demo thời gian thực cục bộ, trên Windows có thể khởi động bằng cách nhấp đúp vào script

Cách sử dụng

  • Sau khi chạy pip install -r requirements.txt, chạy python live/live_server.py, mở http://localhost:8765 để nhập các câu ngắn; hoặc dùng python generate.py --sec 4 --out motion.npz "walk" "jump" để xuất tệp chuyển động

Rủi ro

  • Chỉ biết các chuyển động có trong thư viện CMU, tác giả thử 20 chuyển động mới thì hầu như nhân vật đứng yên; trộn hai chuyển động trong một câu cho hiệu quả kém
  • Chỉ hỗ trợ prompt tiếng Anh; yêu cầu card đồ họa NVIDIA; đầu ra là bộ xương chứ không phải lưới (mesh), trang demo có giao diện tiếng Nhật

Mở

抱脸 text-to-3d 上升榜第 8

Xem tin AI mới nhất