Budget3D-Idol は、コミュニティプロジェクト BudgetAny が、単一画像から 3D ガウシアンスプラッティングモデル Idol を微調整したものです。推論時には、Idol の 8192 個の潜在トークンのうち一部(6.25%〜100%)のみを使用するように指定でき、変化が最も小さい領域(まず空白部分)はより粗いトークンに統合されます。作者が H100 で測定したところ、50% の予算では、各オブジェクトのサンプリング時間が 5.67 秒から 3.18 秒に短縮され、ピークメモリ使用量は 9.9 GB から 8.2 GB に削減されました。同シリーズの Budget3D-Idol-Turbo では、サンプリングステップがわずか 5 回で済みます。画像エンコーダーとガウシアンデコーダーは Idol のオリジナル版を引き継いでおり、オンラインデモとコミュニティ WebUI が提供されています。
なぜ重要か 同一の重みで必要に応じて一部のトークンのみ計算でき、まず空白領域を統合するため、予算が低いほどサンプリングが高速化し、メモリ使用量も節約されます。さらに、ステップ数の少ない Turbo 版も存在します。
ハグ(いいね)数 8 · ハグによる上昇スコア 8 · ハグによるダウンロード数 23
ライセンス:商用利用可 · ComfyUI:未対応 · メモリ:約 2 GB(推定)
理由
- Apache-2.0 ライセンス;モデルカードには速度とメモリ使用量の完全なレポートが添付されており、これらの数値は本プロジェクトによる独自テストであり、論文の結果ではないことが明記されています
- Hugging Face のオンラインデモスペースがあり、インストールなしで試すことができます
使い方
- git clone https://github.com/BudgetAny/Budget3D,下载 budget3d_idol.safetensors と config.json を取得した後、python scripts/sample.py --ckpt weights/budget3d_idol.safetensors --image photo.jpg --budget 0.5 --out photo.ply を実行します。--fast オプションを追加すると最適化された推論が有効になります
リスク
- 非公式な実装であり、BudgetAny と BudgetPix の論文の著者、および Idol の著者とは無関係です。技術レポートはまだ公開されていません
- 実行には DINOv3 と FLUX.2 VAE を別途ダウンロードする必要があり、それぞれ独自のライセンスがあります。ComfyUI のサポートはまだありません