原題:JoVox: Joint Hierarchical Flow Matching for Lightweight Voxel Generation
階層型ボクセル生成では、まず粗い階層を決定し、粗い階層が細部の配置場所を決めるが、粗い階層は最も少ない情報しか持たず、一度決定すると修正されないため、結果として「一見もっともらしいが誤っている」ことがよくある。JoVox は離散フローマッチングを用いてボクセルの全階層の結合分布を学習し、細かい階層が粗い階層の決定に関与できるようにする。一度に2階層分の細かいユニットを予測することで、ネットワークが処理する階層数を半分に減らす。さらに、マスク解除戦略を用いて、細かい階層の生成後に初期の決定を遡って修正する。著者によると、同じバックボーンを持つ TRELLIS.2 と比較して、学習スループットが 8 倍向上し、1回のフォワード計算量はその 1/15 であり、学習には 32 枚ではなく 4 枚の GPU しか使用せず、Chamfer 距離が 11% 低い。
なぜ重要か 画像から 3D への構造生成段階で、より少ない計算資源でより高い精度を実現するため、計算資源が限られているチームによる学習や改善に適している
いいね 3 · コードのスター数 43
理由
- 画像から 3D への構造生成段階は単独で置き換え可能:リポジトリでは画像条件付きの 64³ 生成器を提供しており、メッシュ化は TRELLIS.2 の第2段階に任せている
- 学習、サンプリング、評価のコードが揃っており、コードと重みは Apache-2.0 ライセンス
使い方
- コード:https://github.com/yuyujunjun/JoVox;权重:抱脸 xiangjuntang/JoVox-64
- 環境をセットアップした後、scripts/img2mesh.py を使用して、prep → voxel → mesh の3段階で画像をメッシュに変換する。assets/examples には8枚のサンプル画像がある
リスク
- 依存関係が多い:複数の CUDA 拡張をコンパイルする必要があり、DINOv3、RMBG-2.0(Hugging Face でアクセス申請が必要)、および TRELLIS.2-4B をダウンロードする必要がある
- 現時点では 64³ 解像度のモデルのみが公開されており、著者は A100 でのみテストしている
- 精度比較は Toys4k の 1000 個の物体で測定されたものであり、本項目では実行していない
開く · コード · Hugging Face 論文ページ