Direct3D-V3

Direct3D-V3 は、南京大学、DreamTech、香港大学、オックスフォード大学のチームによる研究(SIGGRAPH Asia 2026 / ACM TOG)です。潜在空間を用いない拡散 Transformer を使用して、生 SDF ボクセルグリッドを直接生成し、512、1024、1536 の3段階の解像度で逐次細分化します。11 月 19 日に推論コードと重みが公開されました。入力は参考画像1枚(事前に GPT Image 2.5、Lotus-2、または Qwen-Image-2.1 を使用して法線マップまたはテクスチャ除去後の白モデル画像に変換することを推奨)と、向きを揃えた粗いメッシュモデルであり、出力は GLB 形式で、デフォルトでは 200 万三角面までポリゴン削減が行われます。公開版では、画像条件付けに4層の DINOv3 特徴量を使用し、Muon オプティマイザで訓練するよう変更されました。

Direct3D-V3 は、南京大学、DreamTech、香港大学、オックスフォード大学のチームによる研究(SIGGRAPH Asia 2026 / ACM TOG)です。潜在空間を用いない拡散 Transformer を使用して、生 SDF ボクセルグリッドを直接生成し、512、1024、1536 の3段階の解像度で逐次細分化します。11 月 19 日に推論コードと重みが公開されました。入力は参考画像1枚(事前に GPT Image 2.5、Lotus-2、または Qwen-Image-2.1 を使用して法線マップまたはテクスチャ除去後の白モデル画像に変換することを推奨)と、向きを揃えた粗いメッシュモデルであり、出力は GLB 形式で、デフォルトでは 200 万三角面までポリゴン削減が行われます。公開版では、画像条件付けに4層の DINOv3 特徴量を使用し、Muon オプティマイザで訓練するよう変更されました。

なぜ重要か VAE による圧縮を経ず、SDF ボクセルを直接モデル化するため、著者によれば公開版の表面ディテールは論文評価版よりも明らかに細かくなっています。MIT ライセンスにより商用利用が可能です。

いいね 4 · 上昇スコア 4 · ダウンロード数 191

ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:約 18 GB(推定)

理由

  • モデルカードには、Python 呼び出し、コマンドラインバッチ処理、Gradio デモの3種類の使用方法と、付随するサンプル画像および粗いメッシュモデルが記載されています
  • コードは MIT ライセンスです。画像エンコーディングに使用される DINOv3 と背景分割に使用される BiRefNet は、それぞれ別のライセンスを持っています

使い方

  • Linux + CUDA 13.0:DreamTechAI/Direct3D-V3 をクローンし、モデルカードに従って Python 3.12 環境を構築、FlashAttention 2 と2つのボクセル化拡張機能をインストールします。その後、python infer.py --image assets/input_imgs/6_normal.png --coarse-mesh assets/coarse_meshes/6.obj --resolution 1024 --output generated.glb を実行するか、python app.py でウェブデモを開きます
  • 粗いメッシュ生成モデルはまだ公開されていないため、まず Hunyuan3D-2.1 または UltraShape を使用して OBJ / GLB を生成し、参考画像と同じ向きに保ってください

リスク

  • 細分化段階のみです:粗いメッシュ生成、テクスチャ生成、訓練コードはまだ未実装であり、粗いメッシュを生成するために他のモデルを借りる必要があります
  • モデルカードに VRAM 要件は記載されておらず、VRAM 不足時に max_tokens を下げることを推奨しています(ディテールが失われます)。DINOv3 の重みは抱脸(Hugging Face)でアクセス申請が必要です。ComfyUI は未対応です

開く

抱脸 image-to-3d 上升榜

最新の AI ニュースを見る