Budget3D-Idol-Turboは、コミュニティプロジェクトBudgetAnyによるSperid LabsのIdol-turbo(5ステップ、ガイダンスなしの単一画像から3Dガウシアンモデルへの変換)のファインチューニングモデルです。BudgetPix論文の「計算リソースに応じた適応的トークン化」というアプローチを画像拡散モデルから3Dへ適用しました。推論時には--budgetオプションで8192個の潜在変数トークンのうち実際に計算に参加する割合を選択でき、同一の重みですべての予算レベルに対応します。作者によると、RTX PRO 6000上では、50%予算でのサンプリングが1.74倍高速化し、10%予算では3.22倍高速化しますが、ガウシアンデコードとレンダリングは予算の影響を受けないため、各オブジェクトのエンドツーエンド処理時間は3.2〜3.6秒程度に留まります。
なぜ重要か 予算に応じて空白や変化の少ない領域を粗いトークンに統合するため、予算が低いほどサンプリングが高速になります。作者は各予算レベルごとの速度とメモリ使用量の表を提供しており、フル予算時のピークメモリ使用量は約8 GBです。
ハグでいいね 4 · ハグで上昇スコア 3 · ハグでダウンロード 291
ライセンス:商用利用可 · ComfyUI:未対応 · メモリ:≈2 GB(推定)
理由
- Apache-2.0ライセンス;Hugging Face上のオンラインデモ(50ステップ版)とコミュニティ製のWebUIがあります
- モデルカードのサンプルはテストセットから一定間隔で選択されており、恣意的に選ばれたものではありません
使い方
- git clone https://github.com/BudgetAny/Budget3Dして手順に従って環境を構築し、hf download BudgetAny/Budget3D-Idol-Turbo budget3d_idol_turbo.safetensors config.json --local-dir weightsを実行した後、python scripts/sample.py --ckpt weights/budget3d_idol_turbo.safetensors --turbo --image photo.jpg --budget 0.5 --out photo.plyを実行します
リスク
- 論文の公式実装ではなく、技術レポートはまだ公開されておらず、数値はすべて作者による自己測定です
- 実行にはDINOv3とFLUX.2 VAEが必要であり、これらにはそれぞれ別のライセンスがあります;ComfyUIノードはまだありません