Budget3D-Idol-Turbo

Budget3D-Idol-Turbo est un projet communautaire de BudgetAny, un fine-tuning d'Idol-turbo de Sperid Labs (modèle de conversion d'une image unique en modèle gaussien 3D sans guidage, en 5 étapes), qui transpose l'approche de la publication BudgetPix, « tokenisation adaptative selon la puissance de calcul », de la diffusion d'images vers le 3D : lors de l'inférence, l'option --budget permet de choisir la proportion des 8192 tokens de variables latentes réellement utilisés dans les calculs, les mêmes poids s'adaptant à tous les budgets. Les auteurs affirment qu'avec une RTX PRO 6000, l'échantillonnage avec un budget de 50% est accéléré d'un facteur 1.74 et celui avec un budget de 10% d'un facteur 3.22, mais le temps de traitement de bout en bout par objet reste d'environ 3.2 à 3.6 secondes, car le décodage gaussien et le rendu ne sont pas affectés par le budget.

Budget3D-Idol-Turbo est un projet communautaire de BudgetAny, un fine-tuning d'Idol-turbo de Sperid Labs (modèle de conversion d'une image unique en modèle gaussien 3D sans guidage, en 5 étapes), qui transpose l'approche de la publication BudgetPix, « tokenisation adaptative selon la puissance de calcul », de la diffusion d'images vers le 3D : lors de l'inférence, l'option --budget permet de choisir la proportion des 8192 tokens de variables latentes réellement utilisés dans les calculs, les mêmes poids s'adaptant à tous les budgets. Les auteurs affirment qu'avec une RTX PRO 6000, l'échantillonnage avec un budget de 50% est accéléré d'un facteur 1.74 et celui avec un budget de 10% d'un facteur 3.22, mais le temps de traitement de bout en bout par objet reste d'environ 3.2 à 3.6 secondes, car le décodage gaussien et le rendu ne sont pas affectés par le budget.

Pourquoi c'est important Regrouper les zones vides et peu variables en tokens grossiers selon le budget permet un échantillonnage plus rapide lorsque le budget est faible ; les auteurs fournissent un tableau des vitesses et de la mémoire VRAM pour chaque palier, avec un pic d'environ 8 Go au budget maximal.

J'aime (Hugging Face) 4 · Score de popularité (Hugging Face) 3 · Téléchargements (Hugging Face) 291

Licence : usage commercial autorisé · ComfyUI : non disponible · Mémoire VRAM : ≈2 Go (estimation)

Raisons

  • Licence Apache-2.0 ; démo en ligne sur Hugging Face (version 50 étapes) et interface Web communautaire
  • Les exemples de la fiche modèle sont sélectionnés à intervalles réguliers dans l'ensemble de test, et non choisis arbitrairement

Utilisation

  • git clone https://github.com/BudgetAny/Budget3D et configurez l'environnement selon ses instructions, hf download BudgetAny/Budget3D-Idol-Turbo budget3d_idol_turbo.safetensors config.json --local-dir weights, puis exécutez python scripts/sample.py --ckpt weights/budget3d_idol_turbo.safetensors --turbo --image photo.jpg --budget 0.5 --out photo.ply

Risques

  • Il ne s'agit pas de l'implémentation officielle de la publication, le rapport technique n'est pas encore publié et les chiffres sont des mesures effectuées par les auteurs eux-mêmes
  • L'exécution nécessite également DINOv3 et le VAE FLUX.2, qui ont chacun leur propre licence ; aucun nœud ComfyUI n'est disponible pour le moment

Ouvrir

抱脸 image-to-3d 上升榜

Parcourir les dernières actualités IA