Speridlabs 的单图生 3D 模型:输入一张物体的照片、渲染图或生成图,自动抠背景、裁切构图,然后生成最多 1,048,576 个 3D 高斯(含图里没拍到的侧面和背面),存成标准 3DGS .ply 文件,可直接用高斯泼溅查看器打开。
上升分 149 · 点赞 150 · 下载量 221
理由
- 门槛低:整套推理约 1.80B 参数(370.6M 去噪 DiT + 八叉树解码器 + 高斯解码器,外加 BiRefNet 抠图、DINOv3 编码器和 FLUX.2 VAE),作者称峰值显存 7.2 GB;50 步、262,144 个高斯在 RTX 4090 上 19.1 秒、RTX 3080 上 46.2 秒、B300 上 3.4 秒。
- 作者自测与 TripoSplat、TRELLIS、LGM 对比:输入视角 SSIM 0.726、LPIPS 0.213、IoU 0.862,七个新视角的 DINOv2 0.781、CLIP 0.885 都是四者最好;PSNR 12.25 低于 LGM 的 12.46,作者解释 LGM 画面偏糊但 PSNR 偏高。
- 10 月 28 日发布,代码(idol-sdk)、权重和在线演示 Space 都已公开,Apache-2.0;此前各期没有收录。上升分 149 只代表关注度。
用法
- 先在抱脸同意 facebook/dinov3-vith16plus-pretrain-lvd1689m 和 black-forest-labs/FLUX.2-dev(只下载其 VAE)两个门控模型的条款,hf auth login 登录;然后 git clone speridlabs/idol-sdk,pip install -e .(Python 3.10+、PyTorch 2.5+、NVIDIA CUDA 显卡),首次运行自动下载约 3 GB 权重。
- python -m idol.sample --image photo.jpg --mode real(照片,物体占画面 1/1.7);渲染图和生成图用 --mode synthetic(默认,占 1/1.2),--image 可给文件夹批量跑;每张图输出 .ply、模型实际看到的裁切图 _input.png 和预测相机 _camera.json。
- 常用参数:--steps 50(少则快但丢细节)、--cfg_strength 3.0、--rescale_t 3.0(高偏整体形状、低偏细节)、--num_gaussians 默认 262144,可设 32,768–1,048,576(32 的倍数);Python 里用 IdolPipeline.from_pretrained("speridlabs/idol")。
风险
- 只处理单个物体;输出是高斯泼溅 .ply 点云,不是网格,卡里没写转网格或贴图导出的办法。
- 依赖两个门控模型,FLUX.2-dev 有 Black Forest Labs 自己的许可条款,商用前要看;只支持 NVIDIA CUDA 显卡。
- 评测和测速均为作者自测(评测在 H100 上),没有论文或技术报告;“2 秒内”是作者的最快说法,表里默认设置最快为 3.4 秒;本栏目没看过示例视频。