Budget3D-Idol

Budget3D-Idol est un ajustement fin du modèle Idol, qui convertit une image unique en un modèle de splatting gaussien 3D, réalisé par le projet communautaire BudgetAny : lors de l'inférence, il est possible de spécifier l'utilisation d'une partie seulement des 8192 tokens latents d'Idol (6.25%–100%) ; les zones présentant le moins de variations (en commençant par les espaces vides) sont fusionnées en tokens plus grossiers. Les auteurs ont mesuré sur H100 qu'avec un budget de 50%, le temps d'échantillonnage par objet est passé de 5.67 secondes à 3.18 secondes, et la mémoire vidéo de pointe de 9.9 Go à 8.2 Go ; la variante Budget3D-Idol-Turbo de la même série ne nécessite que 5 étapes d'échantillonnage. L'encodeur d'images et le décodeur gaussien restent ceux de la version originale d'Idol, avec une démonstration en ligne et une interface WebUI communautaire.

Budget3D-Idol est un ajustement fin du modèle Idol, qui convertit une image unique en un modèle de splatting gaussien 3D, réalisé par le projet communautaire BudgetAny : lors de l'inférence, il est possible de spécifier l'utilisation d'une partie seulement des 8192 tokens latents d'Idol (6.25%–100%) ; les zones présentant le moins de variations (en commençant par les espaces vides) sont fusionnées en tokens plus grossiers. Les auteurs ont mesuré sur H100 qu'avec un budget de 50%, le temps d'échantillonnage par objet est passé de 5.67 secondes à 3.18 secondes, et la mémoire vidéo de pointe de 9.9 Go à 8.2 Go ; la variante Budget3D-Idol-Turbo de la même série ne nécessite que 5 étapes d'échantillonnage. L'encodeur d'images et le décodeur gaussien restent ceux de la version originale d'Idol, avec une démonstration en ligne et une interface WebUI communautaire.

Pourquoi c'est important Les mêmes poids peuvent calculer à la demande seulement une partie des tokens, en fusionnant d'abord les zones vides ; plus le budget est bas, plus l'échantillonnage est rapide et moins la mémoire est consommée ; il existe également une version Turbo avec moins d'étapes.

J'aime Hugging Face 8 · Montée de score Hugging Face 8 · Téléchargements Hugging Face 23

Licence : usage commercial autorisé · ComfyUI : non disponible · Mémoire vidéo : ≈2 Go (estimation)

Raisons

  • Licence Apache-2.0 ; la fiche du modèle inclut des rapports complets sur la vitesse et la mémoire, précisant que ces chiffres proviennent de tests internes au projet et non des résultats de l'article scientifique
  • Il y a un espace de démonstration en ligne sur Hugging Face, permettant de tester sans installation

Utilisation

  • Après avoir cloné via git https://github.com/BudgetAny/Budget3D,下载 budget3d_idol.safetensors et config.json, exécutez python scripts/sample.py --ckpt weights/budget3d_idol.safetensors --image photo.jpg --budget 0.5 --out photo.ply ; ajoutez --fast pour activer l'inférence optimisée

Risques

  • Implémentation non officielle, sans lien avec les auteurs des articles BudgetAny et BudgetPix ni avec les auteurs d'Idol ; le rapport technique n'a pas encore été publié
  • L'exécution nécessite également le téléchargement séparé de DINOv3 et du VAE FLUX.2, chacun ayant sa propre licence ; aucun support ComfyUI n'est disponible pour le moment

Ouvrir

抱脸 image-to-3d 上升榜

Parcourir les dernières actualités IA