Les modèles de vision et de langage à diffusion (comme LLaDA-V) recalculent l'intégralité des tokens visuels de l'image à chaque étape de débruitage, alors que les tokens visuels représentent 89–97% de l'entrée. Les auteurs ont constaté que la suppression de l'image ne modifie les tokens en cours de révélation que dans 22.8% des étapes en moyenne. À chaque étape, LOWN prédit d'abord les tokens masqués sans regarder l'image, et ne traite réellement l'image que si cette prédiction est incohérente avec la prédiction effectuée lors de la dernière consultation de l'image ; les parties cohérentes sont considérées comme « certifiées » et peuvent être réutilisées directement, et le nombre de tokens révélés correspond au nombre de tokens certifiés.
J'aime 91 · Étoiles du code 7
Raisons
- Sans entraînement ni ajustement de seuil : les auteurs affirment que LOWN conserve 99.6% du score de LLaDA-V sur dix benchmarks, en utilisant en moyenne seulement 35.3% des FLOPs de décodage.
- Compatible avec d'autres optimisations : les auteurs affirment que la méthode est généralisable à d'autres modèles de vision et de langage à diffusion basés sur LLaDA, qu'elle est orthogonale au pruning des tokens visuels et qu'elle permet d'accélérer davantage les performances grâce à la mise en cache KV.
- Comparaison réalisable en deux commandes : dans l'exemple de l'ours COCO du README, pour la même image, LLaDA-V utilise environ 1930 TFLOPs et LOWN environ 812 TFLOPs, soit une réduction relative de 0.421 (selon les auteurs, il s'agit d'une estimation analytique du décodeur et de la tête LM, sur un exemple d'image unique).
Utilisation
- Environnement : Linux, Python 3.11, un GPU NVIDIA avec au moins 32 Go de mémoire vidéo (PyTorch CUDA 12.6).
- Exécution : git clone github.com/hyeon9698/LOWN → bash setup.sh (crée un .venv local, télécharge automatiquement les poids de LLaDA-V et de SigLIP2 lors de la première exécution) → bash evaluate.sh --gpu 0, les résultats et les FLOPs sont écrits dans outputs/result.json.
- Avec votre propre image : bash evaluate.sh --gpu 0 --method lown --image chemin_de_l_image --prompt "Describe this image."
Risques
- Applicable uniquement aux modèles de vision et de langage à diffusion de type LLaDA-V, et non aux modèles de vision et de langage autoregressifs courants.
- Le README fournit une démonstration sur une seule image et une estimation des FLOPs, mais ne propose pas de scripts de reproduction pour les dix benchmarks ni de mesure de la latence réelle ; le dépôt n'indique pas de licence (il contient du code de LLaDA-V, soumis à sa licence).
- Les chiffres de préservation des scores et d'économie de calcul sont rapportés par les auteurs.
Ouvrir · Code · Page du papier