Biến một đoạn video do AI tạo thành hoạt ảnh cho bất kỳ sinh vật nào đã được rig xương (có cánh, đuôi, tám chân đều được): mô hình video quay đồng thời cả mặt trước và mặt bên trong cùng một khung hình, một bộ nhận diện khớp chỉ dành riêng cho sinh vật này đọc các khớp từ hai góc nhìn, giao điểm của chúng xác định vị trí 3D, sau đó áp bộ xương vào và xuất ra tệp GLB.
Số sao 420 (+61 / 24h)
Lý do
- Quy trình gồm 8 bước: từ một hình ảnh tạo ra lưới có texture (Flux 3 tạo ảnh, Tripo H3.1 tạo mô hình) → đặt xương thủ công trên chế độ xem lưới, rig da trong Blender → tô màu khác nhau cho từng chi để tránh nhầm lẫn trái/phải → MiniMax H3 Max tạo video hai góc máy 5 giây theo prompt → huấn luyện bộ nhận diện khớp DINOv2 với các tư thế ngẫu nhiên → đọc khớp từng khung hình → tính toán vị trí 3D từ hai góc nhìn → khớp xương và xuất tệp GLB ở tốc độ 24 fps
- Tác giả cung cấp bốn ví dụ: sói, rồng, nhện khổng lồ và ác quỷ lửa; sai số trung bình trên tập kiểm tra của bộ nhận diện là 2.9–9.4 pixel; tác giả cho biết mỗi đoạn video 5 giây tốn khoảng 0.26 USD trên fal, việc đọc khớp mất 10 giây, việc khớp xương chưa đầy một phút và không cần chỉnh sửa thủ công
- Kèm theo 6 kỹ năng Claude Code (tổng quan, rig xương, quay phim, bộ nhận diện, thu thập dữ liệu, LoRA), hướng dẫn cách đánh giá chất lượng dữ liệu thu thập; ngoài ra có thể huấn luyện LoRA hai góc máy cho MiniMax H3 trên fal, tác giả cho biết sau khi thêm LoRA, tỷ lệ nhầm lẫn màu sắc chi của sói giảm từ 2/5 đoạn xuống còn 0 đoạn (mỗi hành động chỉ chạy một seed)
- Phương pháp này do @CanItCode phát triển, ý tưởng về LoRA H3 do @Graalitoo đề xuất, kho lưu trữ này là phiên bản có thể chạy được do tác giả tổng hợp
Cách sử dụng
- Yêu cầu card đồ họa NVIDIA CUDA (huấn luyện bộ nhận diện cần 24 GB VRAM, việc đọc khớp và khớp xương yêu cầu thấp hơn nhiều), Python 3.11, Blender 5.x và Key của fal; sau khi git clone, cài đặt torch 2.11 và các phụ thuộc theo README, ghi FAL_KEY vào file .env
- Thử nghiệm miễn phí trước: kho lưu trữ có sẵn dữ liệu khớp cho đoạn video rồng gầm, dùng mocap.solve để khớp trên CPU trong khoảng 20 giây; sau đó dùng tools/fetch_examples.sh dragon --readers --clips để tải xuống lưới mẫu, bộ nhận diện và các đoạn video, lần lượt chạy prep.sh, rig.sh, capture.sh để có được tệp GLB hoàn chỉnh
- Claude Code: chạy /plugin marketplace add Patch-gg/anymove, sau đó chạy /plugin install anymove@anymove
- Tạo sinh vật của riêng bạn: sao chép ví dụ gần nhất từ assets/ (sói bốn chân, rồng có cánh, nhện tám chân, ác quỷ hai chân có cánh và đuôi), thay thế bằng model.glb của bạn, lần lượt chạy prep, rig, dataset (khoảng 25 phút), train (khoảng 20 phút), film, capture
Rủi ro
- Các hạn chế do tác giả liệt kê: không khớp được chuyển động đi bộ của sinh vật tám chân (hai góc nhìn bất đồng lớn về việc chân nào được nâng lên), các động tác nằm xuống thất bại, xương phải đặt thủ công, mô hình video có thể bị trôi; tiếp xúc với mặt đất chỉ nhận diện được tên gọi của móng vuốt sói và rồng, lông và vải cần thêm xương
- Các đoạn video huấn luyện LoRA được tạo bằng cách giải ngược chuyển động từ video AI rồi render lại, bản thân chuyển động là do AI tạo ra; huấn luyện 1200 bước trên fal tốn khoảng 12 USD và 2 giờ, mức giá này được tác giả ghi nhận vào tháng 10
- Mã nguồn theo giấy phép Apache-2.0, nhưng trọng số mở của MiniMax H3 theo giấy phép cộng đồng, việc sử dụng trên fal tuân theo điều khoản của fal, LoRA sói kèm theo tuân theo giấy phép cộng đồng H3 chứ không phải Apache-2.0; kho lưu trữ mới được tạo vào ngày 27 tháng 10