Direct3D-V3 est le fruit des travaux des équipes de l'Université de Nankin, DreamTech, de l'Université de Hong Kong et de l'Université d'Oxford (SIGGRAPH Asia 2026 / ACM TOG). Il utilise un Transformer de diffusion sans espace latent pour générer directement des grilles de voxels SDF brutes, avec un raffinement progressif à trois niveaux de résolution : 512, 1024 et 1536. Le code d'inférence et les poids ont été publiés le 19 11 ; l'entrée comprend une image de référence (il est recommandé de générer au préalable une carte de normales ou un modèle blanc sans texture à l'aide de GPT Image 2.5, Lotus-2 ou Qwen-Image-2.1) ainsi qu'un modèle grossier aligné en orientation, pour une sortie au format GLB, avec une réduction par défaut à 200 000 triangles. La version publiée utilise des caractéristiques DINOv3 à quatre couches pour la condition d'image et a été entraînée avec l'optimiseur Muon.
Pourquoi c'est important En modélisant directement les voxels SDF sans compression VAE, les auteurs affirment que les détails de surface de la version publiée sont nettement plus fins que ceux de la version évaluée dans l'article ; la licence MIT permet une utilisation commerciale.
J'aime 4 · Score de tendance 4 · Téléchargements 191
Licence : utilisation commerciale autorisée · ComfyUI : non disponible · VRAM : ≈18 Go (estimation)
Raisons
- La fiche du modèle propose trois méthodes d'utilisation : appel Python, traitement par lot en ligne de commande et démonstration Gradio, ainsi que des images d'exemple et des modèles grossiers associés
- Le code est sous licence MIT ; DINOv3 utilisé pour l'encodage d'images et BiRefNet utilisé pour la segmentation d'arrière-plan sont soumis à leurs propres licences respectives
Utilisation
- Linux + CUDA 13.0 : clonez DreamTechAI/Direct3D-V3, créez un environnement Python 3.12 selon la fiche du modèle, installez FlashAttention 2 et deux extensions de voxelisation, puis exécutez python infer.py --image assets/input_imgs/6_normal.png --coarse-mesh assets/coarse_meshes/6.obj --resolution 1024 --output generated.glb, ou lancez python app.py pour ouvrir la démonstration web
- Le modèle de génération de modèles grossiers n'a pas encore été publié ; utilisez d'abord Hunyuan3D-2.1 ou UltraShape pour générer un fichier OBJ / GLB, en veillant à ce que l'orientation corresponde à celle de l'image de référence
Risques
- Il ne s'agit que de la phase de raffinement : la génération de modèles grossiers, la génération de textures et le code d'entraînement sont encore en cours de développement ; il faut d'abord utiliser d'autres modèles pour générer le modèle grossier
- La fiche du modèle n'indique pas les exigences en VRAM, mais suggère de réduire max_tokens en cas de saturation de la mémoire (ce qui entraîne une perte de détails) ; l'accès aux poids DINOv3 doit être demandé sur Hugging Face ; le support ComfyUI n'est pas encore disponible