Idol(単一画像から 3D ガウシアンスプラッティングを生成、ComfyUI 公式パッケージあり)

speridlabs の単一画像から 3D モデルへ変換するツール:物体の画像(レンダリング画像、生成画像、写真)を1枚入力すると、背景除去とトリミングを自動で行い、最大 1,048,576 個の 3D ガウシアンを生成します。画像に写っていない側面も補完し、標準的な 3DGS .ply ファイルとして保存します。10 月 31 日に一度収録済みですが、今回再収録したのは、11 月 1 日に Comfy-Org が ComfyUI 向けパッケージ版(Comfy-Org/Idol、Kijai によるアップロード)を公開したためです。モデル自体に変更はありません。

speridlabs の単一画像から 3D モデルへ変換するツール:物体の画像(レンダリング画像、生成画像、写真)を1枚入力すると、背景除去とトリミングを自動で行い、最大 1,048,576 個の 3D ガウシアンを生成します。画像に写っていない側面も補完し、標準的な 3DGS .ply ファイルとして保存します。10 月 31 日に一度収録済みですが、今回再収録したのは、11 月 1 日に Comfy-Org が ComfyUI 向けパッケージ版(Comfy-Org/Idol、Kijai によるアップロード)を公開したためです。モデル自体に変更はありません。

上昇スコア 491 · いいね 516 · ダウンロード数 10742

理由

  • 10 月 31 日の時点との違い:Comfy-Org のパッケージ説明によると、Idol は TripoSplat のファインチューニング版であり、既存の TripoSplat ワークフローをそのまま適用できます。パッケージには DINOv3 画像エンコーダー(bf16)、FLUX.2 VAE、Idol デコーダーが含まれており、指定されたディレクトリに配置すればすぐに使用可能です。
  • 公式は H100 上で TripoSplat、TRELLIS、LGM と比較しています。入力視点の SSIM は 0.726、LPIPS は 0.213、新視点の DINOv2 は 0.781、CLIP は 0.885 で、いずれも表中で最良の値です。1回のリクエストあたりの処理時間は 6.8 秒(TRELLIS は 7.1 秒、TripoSplat は 9.9 秒)です。
  • コンシューマー向けGPUで動作可能:公式によれば、リクエスト全体で約 1.80B パラメータ、ピークメモリ使用量は 7.2 GB です。50 ステップ、262,144 個のガウシアンの場合、RTX 4090 では1枚あたり約 19.1 秒、RTX 3080 では約 46.2 秒かかります。

使い方

  • ComfyUI:Comfy-Org/Idol からダウンロードし、idol_fp16.safetensors を models/diffusion_models に、dino_v3_vit_h_bf16.safetensors を models/clip_vision に、flux2-vae.safetensors と idol_decoder_fp16.safetensors を models/vae に配置します。その後、既存の TripoSplat ワークフローを開き、これらのファイルに置き換えます。
  • コマンドライン:まず Hugging Face で facebook/dinov3-vith16plus-pretrain-lvd1689m と black-forest-labs/FLUX.2-dev の利用規約に同意し、hf auth login を実行します。次に git clone speridlabs/idol-sdk、pip install -e . を実行し、python -m idol.sample --image photo.jpg --mode real を実行します(写真の場合は real、レンダリング画像や生成画像の場合は synthetic を指定します)。
  • 一般的なパラメータ:--steps 50、--cfg_strength 3.0、--num_gaussians は 32,768 から 1,048,576 の間(32 の倍数、デフォルトは 262,144)で指定します。結果は任意のガウシアンスプラッティングビューアで .ply ファイルを開いて確認します。

リスク

  • 評価は公式による自己評価であり、PSNR 項目では LGM が最高値を示しています(公式は PSNR がぼやけた結果を優遇する傾向があると説明しています)。本欄ではデモ動画を確認していません。
  • Comfy-Org のページにはファイル配置の説明のみがあり、Idol 専用のワークフローは添付されていません。TripoSplat のワークフローを自分で修正する必要があります。パッケージに含まれる DINOv3 と FLUX.2 VAE にはそれぞれ独自のライセンス条件があり、Idol の Apache-2.0 ライセンスには従いません。
  • 出力はガウシアンスプラッティングであり、メッシュではないため、ゲームエンジンや 3D プリンターで使用するには変換が必要です。また、単一の物体のみを対象としています。

開く

Hugging Face Trending

最新の AI ニュースを見る