Mô hình chuyển từ một ảnh sang mô hình 3D của speridlabs: cung cấp một ảnh vật thể (ảnh kết xuất, ảnh tạo sinh hoặc ảnh chụp), tự động xóa nền, cắt khung, tạo ra tối đa 1,048,576 Gaussian 3D, kể cả các mặt bên không xuất hiện trong ảnh cũng được bổ sung, lưu dưới dạng tệp .ply chuẩn 3DGS. Đã được ghi nhận vào ngày 31 tháng 10; lần ghi nhận lại này là do Comfy-Org đã phát hành phiên bản đóng gói cho ComfyUI (Comfy-Org/Idol, do Kijai tải lên) vào ngày 1 tháng 11, bản thân mô hình không thay đổi.
Tăng hạng 491 · Lượt thích 516 · Lượt tải 10742
Lý do
- Điểm mới so với phiên bản ngày 31 tháng 10: tài liệu đóng gói của Comfy-Org cho biết Idol là phiên bản tinh chỉnh của TripoSplat, có thể áp dụng trực tiếp các quy trình làm việc TripoSplat hiện có; gói đóng gói bao gồm bộ mã hóa hình ảnh DINOv3 (bf16), VAE của FLUX.2 và bộ giải mã Idol, chỉ cần đặt đúng thư mục là có thể sử dụng.
- So sánh chính thức trên H100 với TripoSplat, TRELLIS và LGM: SSIM góc nhìn đầu vào 0.726, LPIPS 0.213, DINOv2 0.781 và CLIP 0.885 cho góc nhìn mới, đều đạt kết quả tốt nhất trong bảng; thời gian xử lý mỗi yêu cầu là 6.8 giây (TRELLIS 7.1 giây, TripoSplat 9.9 giây).
- Có thể chạy trên card đồ họa tiêu dùng: theo thông tin chính thức, toàn bộ quy trình yêu cầu khoảng 1.80B tham số, bộ nhớ VRAM đỉnh điểm là 7.2 GB; với 50 bước và 262,144 Gaussian, RTX 4090 mất khoảng 19.1 giây mỗi ảnh, RTX 3080 mất khoảng 46.2 giây.
Cách sử dụng
- ComfyUI: tải từ Comfy-Org/Idol, đặt idol_fp16.safetensors vào models/diffusion_models, dino_v3_vit_h_bf16.safetensors vào models/clip_vision, flux2-vae.safetensors và idol_decoder_fp16.safetensors vào models/vae, sau đó mở quy trình làm việc TripoSplat hiện có và thay thế bằng các tệp này.
- Dòng lệnh: trước tiên chấp nhận các điều khoản của facebook/dinov3-vith16plus-pretrain-lvd1689m và black-forest-labs/FLUX.2-dev trên Hugging Face và chạy hf auth login, sau đó git clone speridlabs/idol-sdk, pip install -e ., chạy python -m idol.sample --image photo.jpg --mode real (dùng real cho ảnh chụp, synthetic cho ảnh kết xuất và ảnh tạo sinh).
- Các tham số thường dùng: --steps 50, --cfg_strength 3.0, --num_gaussians trong khoảng từ 32,768 đến 1,048,576 (bội số của 32, mặc định là 262,144); mở tệp .ply kết quả bằng bất kỳ trình xem Gaussian Splatting nào.
Rủi ro
- Đánh giá là do chính nhóm phát triển tự thực hiện, chỉ số PSNR cao nhất thuộc về LGM (giải thích chính thức là PSNR ưu tiên các kết quả mờ); chuyên mục này chưa xem video demo.
- Trang của Comfy-Org chỉ có hướng dẫn đặt tệp, không kèm theo quy trình làm việc dành riêng cho Idol, bạn phải tự chỉnh sửa quy trình làm việc TripoSplat; DINOv3 và VAE của FLUX.2 trong gói đóng gói đều có các điều khoản giấy phép riêng, không tuân theo giấy phép Apache-2.0 của Idol.
- Đầu ra là Gaussian Splatting, không phải lưới (mesh), nếu muốn đưa vào công cụ game hoặc in 3D thì cần phải chuyển đổi; chỉ hỗ trợ từng vật thể đơn lẻ.