Budget3D-Idol là bản tinh chỉnh của dự án cộng đồng BudgetAny dành cho Idol, một mô hình Gaussian Splatting chuyển đổi từ một hình ảnh sang 3D: trong quá trình suy luận, bạn có thể chỉ định sử dụng một phần trong số 8192 token tiềm ẩn của Idol (6.25%–100%), các vùng có ít biến đổi nhất (trước tiên là các vùng trống) sẽ được gộp thành các token thô hơn. Các tác giả đã đo lường trên H100 rằng, với ngân sách 50%, thời gian lấy mẫu cho mỗi đối tượng giảm từ 5.67 giây xuống 3.18 giây, và bộ nhớ VRAM đỉnh giảm từ 9.9 GB xuống 8.2 GB; phiên bản cùng dòng Budget3D-Idol-Turbo chỉ cần 5 bước lấy mẫu. Bộ mã hóa hình ảnh và bộ giải mã Gaussian vẫn giữ nguyên từ phiên bản Idol gốc, có bản demo trực tuyến và WebUI cộng đồng.
Tại sao quan trọng Cùng một bộ trọng số có thể tính toán chỉ một phần token theo nhu cầu, ưu tiên gộp các vùng trống trước; ngân sách càng thấp thì tốc độ lấy mẫu càng nhanh và tiết kiệm VRAM hơn; ngoài ra còn có phiên bản Turbo với số bước ít hơn.
Số lượt thích trên Hugging Face 8 · Điểm tăng trên Hugging Face 8 · Số lượt tải xuống trên Hugging Face 23
Giấy phép: Được phép sử dụng thương mại · ComfyUI: Chưa có · VRAM: ≈2 GB (ước tính)
Lý do
- Giấy phép Apache-2.0; thẻ mô hình kèm theo báo cáo đầy đủ về tốc độ và VRAM, đồng thời nêu rõ các con số này là kết quả tự kiểm tra của dự án, không phải kết quả từ bài báo khoa học
- Có không gian demo trực tuyến trên Hugging Face, có thể thử nghiệm mà không cần cài đặt
Cách sử dụng
- Sau khi thực hiện git clone https://github.com/BudgetAny/Budget3D,下载 để tải về budget3d_idol.safetensors và config.json, hãy chạy lệnh python scripts/sample.py --ckpt weights/budget3d_idol.safetensors --image photo.jpg --budget 0.5 --out photo.ply; thêm --fast để bật chế độ suy luận được tối ưu hóa
Rủi ro
- Đây là bản triển khai không chính thức, không liên quan đến các tác giả của bài báo BudgetAny và BudgetPix, cũng như tác giả của Idol; báo cáo kỹ thuật chưa được công bố
- Khi chạy còn phải tải thêm DINOv3 và FLUX.2 VAE, mỗi thành phần đều có giấy phép riêng; hiện chưa hỗ trợ ComfyUI