Direct3D-V3 是南京大学、DreamTech、港大和牛津团队的工作(SIGGRAPH Asia 2026 / ACM TOG),用不带潜空间的扩散 Transformer 直接生成原始 SDF 体素网格,分 512、1024、1536 三档分辨率逐级细化。11 月 19 日放出推理代码和权重;输入是一张参考图(推荐先用 GPT Image 2.5、Lotus-2 或 Qwen-Image-2.1 做成法线图或去纹理的白模图)加一个朝向对齐的粗模,输出 GLB,默认减面到 200 万三角面。发布版改用四层 DINOv3 特征做图像条件、换成 Muon 优化器训练。
为什么重要 不经过 VAE 压缩、直接对 SDF 体素建模,作者称发布版的表面细节比论文评测版明显更细;MIT 许可可商用。
抱脸点赞 4 · 抱脸上升分 4 · 抱脸下载 191
许可证:可商用 · ComfyUI:暂无 · 显存:≈18 GB 估算
理由
- 模型卡给了 Python 调用、命令行批处理和 Gradio 演示三种用法,以及配套的示例图和粗模
- 代码 MIT;图像编码用的 DINOv3 和背景分割用的 BiRefNet 各自另有许可
用法
- Linux + CUDA 13.0:克隆 DreamTechAI/Direct3D-V3,按模型卡建 Python 3.12 环境、装 FlashAttention 2 和两个体素化扩展,运行 python infer.py --image assets/input_imgs/6_normal.png --coarse-mesh assets/coarse_meshes/6.obj --resolution 1024 --output generated.glb,或 python app.py 打开网页演示
- 粗模生成模型还没放出,先用 Hunyuan3D-2.1 或 UltraShape 出一个 OBJ / GLB,保持和参考图同一朝向
风险
- 只是细化阶段:粗模生成、贴图生成和训练代码都还在待办里,需要先借别家模型出粗模
- 模型卡没写显存,只建议爆显存时调低 max_tokens(会损失细节);DINOv3 权重要在抱脸上申请访问;暂无 ComfyUI 支持