Idol(单张图生成 3D 高斯泼溅,ComfyUI 已有官方打包)

speridlabs 的单图转 3D 模型:给一张物体图(渲染图、生成图或照片),自动去背景、裁切,生成最多 1,048,576 个 3D 高斯,连图里没拍到的侧面也补出来,存成标准 3DGS .ply 文件。10 月 31 日已收录;这次重新收录,是因为 11 月 1 日 Comfy-Org 发了 ComfyUI 打包版(Comfy-Org/Idol,Kijai 上传),模型本身没变。

speridlabs 的单图转 3D 模型:给一张物体图(渲染图、生成图或照片),自动去背景、裁切,生成最多 1,048,576 个 3D 高斯,连图里没拍到的侧面也补出来,存成标准 3DGS .ply 文件。10 月 31 日已收录;这次重新收录,是因为 11 月 1 日 Comfy-Org 发了 ComfyUI 打包版(Comfy-Org/Idol,Kijai 上传),模型本身没变。

上升分 491 · 点赞 516 · 下载量 10742

理由

  • 和 10 月 31 日比的新东西:Comfy-Org 的打包说明称 Idol 是 TripoSplat 的微调版,可以直接套用现有的 TripoSplat 工作流;打包里一并放了 DINOv3 图像编码器(bf16)、FLUX.2 VAE 和 Idol 解码器,按目录放好就能用。
  • 官方在 H100 上和 TripoSplat、TRELLIS、LGM 对比:输入视角 SSIM 0.726、LPIPS 0.213,新视角 DINOv2 0.781、CLIP 0.885,都是表中最好;单次请求 6.8 秒(TRELLIS 7.1 秒、TripoSplat 9.9 秒)。
  • 消费级显卡能跑:官方称整套请求约 1.80B 参数、峰值显存 7.2 GB;50 步、262,144 个高斯时,RTX 4090 每张约 19.1 秒,RTX 3080 约 46.2 秒。

用法

  • ComfyUI:从 Comfy-Org/Idol 下载,idol_fp16.safetensors 放 models/diffusion_models,dino_v3_vit_h_bf16.safetensors 放 models/clip_vision,flux2-vae.safetensors 和 idol_decoder_fp16.safetensors 放 models/vae,再打开现有的 TripoSplat 工作流换上这几个文件。
  • 命令行:先在抱脸接受 facebook/dinov3-vith16plus-pretrain-lvd1689m 和 black-forest-labs/FLUX.2-dev 的条款并 hf auth login,然后 git clone speridlabs/idol-sdk、pip install -e .,运行 python -m idol.sample --image photo.jpg --mode real(照片用 real,渲染图和生成图用 synthetic)。
  • 常用参数:--steps 50、--cfg_strength 3.0、--num_gaussians 在 32,768 到 1,048,576 之间(32 的倍数,默认 262,144);结果用任意高斯泼溅查看器打开 .ply。

风险

  • 评测是官方自测,PSNR 一项是 LGM 最高(官方解释为 PSNR 偏爱模糊结果);本栏目没看过演示视频。
  • Comfy-Org 页面只有文件放置说明,没附 Idol 专用工作流,要自己拿 TripoSplat 工作流改;打包里的 DINOv3 和 FLUX.2 VAE 各有自己的许可条款,不跟随 Idol 的 Apache-2.0。
  • 输出是高斯泼溅,不是网格,要进游戏引擎或 3D 打印还得转换;只针对单个物体。

打开

Hugging Face Trending

浏览最新 AI 动态