原题:JoVox: Joint Hierarchical Flow Matching for Lightweight Voxel Generation
层级式体素生成先定粗层,粗层决定细节能出现在哪里,但粗层掌握的信息最少、定下后不再修改,结果常常“看着合理但是错的”。JoVox 用离散流匹配学习体素所有层级的联合分布,让细层参与决定粗层;一次预测细两级的单元,把网络要处理的层数减半;再用一种揭掩策略,在细层生成后回头修正早期决定。作者称与同骨干的 TRELLIS.2 相比,训练吞吐提高 8 倍,单次前向计算量为其 1/15,训练只用 4 张而非 32 张 GPU,Chamfer 距离低 11%。
为什么重要 图转 3D 的结构阶段用更少算力拿到更好精度,适合算力有限的团队训练和改进
点赞 3 · 代码星数 43
理由
- 图转 3D 的结构阶段可单独替换:仓库提供图像条件的 64³ 生成器,网格化交给 TRELLIS.2 的第二阶段
- 训练、采样和评测代码齐全,代码与权重 Apache-2.0
用法
- 代码:https://github.com/yuyujunjun/JoVox;权重:抱脸 xiangjuntang/JoVox-64
- 装好环境后用 scripts/img2mesh.py 按 prep → voxel → mesh 三阶段把图片转成网格,assets/examples 里有八张示例图
风险
- 依赖多:要编译多个 CUDA 扩展,并下载 DINOv3、RMBG-2.0(需在抱脸申请访问)和 TRELLIS.2-4B
- 目前只放出 64³ 分辨率模型,作者只在 A100 上测试过
- 精度对比在 Toys4k 的 1000 个物体上测得;本条未运行