Tóc phong cách hóa trong trò chơi và avatar ảo được tạo thành từ các "miếng tóc" (hair card, các dải mặt phẳng do nghệ sĩ bố trí) và được điều khiển bởi các chuỗi xương lò xo. HairDeck đầu vào là một hình ảnh nhân vật, trực tiếp tạo ra các miếng tóc và các chuỗi xương lò xo điều khiển chúng: mỗi miếng tóc được mã hóa thành một token, được khử nhiễu cùng nhau bằng Transformer khuếch tán tập hợp, sau đó một mô hình khuếch tán thứ hai tạo ra các chuỗi xương và áp dụng da (skinning). Đầu ra giữ lại các miếng tóc độc lập và UV cho từng miếng, có thể xuất ra GLB, hoặc áp dụng lên mô hình cơ thể đi kèm để xuất avatar VRM.
Thích 17 · Số sao mã nguồn 14
Lý do
- Các tác giả tuyên bố rằng trên bộ kiểm thử riêng của CHARM, khoảng cách chamfer giảm 44%, sai số hướng của miếng tóc giảm hơn một nửa, tốc độ nhanh hơn 33 lần; khi tạo từ một hình ảnh duy nhất, nó cũng vượt trội hơn CHARM, quy trình từ hình ảnh sang 3D và các phương pháp dựa trên sợi tóc.
- Mã nguồn và bốn điểm kiểm tra (DiT điều kiện hình ảnh, VAE miếng tóc, DiT chuỗi xương, DiT điều kiện đám mây điểm) đều đã được công bố, mã nguồn và trọng số theo giấy phép Apache-2.0, ngoài ra còn có demo trực tuyến trên Hugging Face.
- Sản phẩm có thể đi trực tiếp vào các quy trình hạ nguồn: lưới GLB, avatar VRM và video xem trước xoay đầu, không cần phải tách thủ công lưới hợp nhất thành các miếng tóc.
Cách sử dụng
- Trải nghiệm nhanh nhất: Space trên Hugging Face hyz317/HairDeck.
- Chạy cục bộ: Linux x86-64, Python 3.12, một GPU NVIDIA (các tác giả đã kiểm thử với PyTorch 2.8 + CUDA 12.8); git clone github.com/hyz317/HairDeck → pip install -r requirements.txt → pip install --no-deps pyrender==0.1.45.
- Trọng số: Trước tiên, hãy đồng ý với các giấy phép của facebook/sam3 và facebook/dinov3-vitl16-pretrain-lvd1689m trên Hugging Face và chạy hf auth login, sau khi thiết lập HAIRDECK_ROOT, chạy python scripts/setup/download_weights.py (sẽ tải xuống Blender 4.2 LTS và plugin VRM cùng lúc).
- Tạo: python scripts/image_to_hair.py character.png --out results/my_character --n 4 (1–4 biến thể, --no-chains chỉ xuất miếng tóc); Xuất: python -m hairdeck.vrm.export results/my_character/character 0; cũng có thể chạy python demo/app.py để khởi động giao diện web cục bộ.
Rủi ro
- Phụ thuộc nhiều: SAM 3, DINOv3 là các mô hình có kiểm soát truy cập, yêu cầu đăng nhập Hugging Face và đồng ý giấy phép; cũng cần Blender + plugin VRM và ffmpeg, các thành phần của bên thứ ba có giấy phép riêng.
- Hướng tới tóc thẻ phong cách hóa / anime, không phải sợi tóc thực tế; kho hình ảnh kết xuất phong cách hóa được sử dụng để huấn luyện phiên bản mô hình hình ảnh đã phát hành không được công bố, nên không thể tái tạo lại mô hình tương tự nếu tự huấn luyện lại.
- Các con số về độ chính xác và tốc độ do các tác giả báo cáo; chưa xem kết quả tạo, không đánh giá cảm nhận thực tế.