Titre original : JoVox: Joint Hierarchical Flow Matching for Lightweight Voxel Generation
La génération hiérarchique de voxels commence par définir le niveau grossier, qui détermine où les détails peuvent apparaître, mais ce niveau dispose de la moins d'informations et n'est plus modifié une fois fixé, ce qui donne souvent des résultats « plausibles mais faux ». JoVox utilise le flux discret (discrete flow matching) pour apprendre la distribution conjointe de tous les niveaux de voxels, permettant aux niveaux fins de contribuer à la détermination du niveau grossier ; il prédit en une seule passe des unités couvrant deux niveaux fins, réduisant de moitié le nombre de niveaux que le réseau doit traiter ; il utilise ensuite une stratégie de démasquage pour revenir corriger les décisions initiales après la génération des niveaux fins. Les auteurs affirment que, par rapport à TRELLIS.2 avec la même architecture de base, le débit d'entraînement est multiplié par 8, le calcul d'une seule passe avant est réduit à 1/15 de celui-ci, l'entraînement n'utilise que 4 GPU au lieu de 32, et la distance de Chamfer est inférieure de 11%.
Pourquoi c'est important L'étape de structure de la conversion image vers 3D obtient une meilleure précision avec moins de puissance de calcul, ce qui convient aux équipes disposant de ressources limitées pour l'entraînement et l'amélioration
J'aime 3 · Étoiles du code 43
Raisons
- L'étape de structure de la conversion image vers 3D peut être remplacée indépendamment : le dépôt fournit un générateur conditionné par l'image de 64³, la mise en grille étant laissée à la deuxième étape de TRELLIS.2
- Le code d'entraînement, d'échantillonnage et d'évaluation est complet, le code et les poids sont sous licence Apache-2.0
Utilisation
- Code : https://github.com/yuyujunjun/JoVox;权重:抱脸 xiangjuntang/JoVox-64
- Après avoir configuré l'environnement, utilisez scripts/img2mesh.py pour convertir les images en maillages en trois étapes : prep → voxel → mesh ; des exemples de huit images sont disponibles dans assets/examples
Risques
- Nombreuses dépendances : nécessite la compilation de plusieurs extensions CUDA, ainsi que le téléchargement de DINOv3, RMBG-2.0 (accès à demander sur Hugging Face) et TRELLIS.2-4B
- Seul un modèle de résolution 64³ est actuellement publié, et les auteurs ne l'ont testé que sur A100
- La comparaison de précision a été effectuée sur 1000 objets de Toys4k ; cette entrée n'a pas été exécutée