MMFlash : Accélérer le décodage spéculatif pour les modèles de vision et de langage

Le décodage spéculatif permet à un modèle brouillon léger de proposer une séquence de tokens, qui est ensuite vérifiée en parallèle par le modèle cible ; les modèles brouillons à diffusion comme DFlash peuvent proposer un bloc entier de tokens en une seule passe avant, mais ils sont principalement destinés au texte pur. Les auteurs mesurent la dépendance de chaque token à l'image en utilisant la divergence de KL entre la distribution du prochain token avec et sans image, et constatent que le quartile des tokens ayant la dépendance la plus faible présente un taux d'acceptation de 46%, tandis que le quartile ayant la dépendance la plus élevée n'atteint que 22%, un écart qui persiste même après un entraînement multimodal. MMFlash augmente le poids de ces tokens lors de l'entraînement et utilise une attention épaisse pour réduire les calculs redondants lors de l'entrée de vidéos longues. L'article affirme une accélération sans perte de performance pouvant atteindre 3.58 fois sur plusieurs benchmarks multimodaux, soit jusqu'à 195.4% et 17.1% fois plus rapide que EAGLE-3 et DFlash respectivement.

Titre original : MMFlash: Faster Speculative Decoding for Vision-Language Models

Le décodage spéculatif permet à un modèle brouillon léger de proposer une séquence de tokens, qui est ensuite vérifiée en parallèle par le modèle cible ; les modèles brouillons à diffusion comme DFlash peuvent proposer un bloc entier de tokens en une seule passe avant, mais ils sont principalement destinés au texte pur. Les auteurs mesurent la dépendance de chaque token à l'image en utilisant la divergence de KL entre la distribution du prochain token avec et sans image, et constatent que le quartile des tokens ayant la dépendance la plus faible présente un taux d'acceptation de 46%, tandis que le quartile ayant la dépendance la plus élevée n'atteint que 22%, un écart qui persiste même après un entraînement multimodal. MMFlash augmente le poids de ces tokens lors de l'entraînement et utilise une attention épaisse pour réduire les calculs redondants lors de l'entrée de vidéos longues. L'article affirme une accélération sans perte de performance pouvant atteindre 3.58 fois sur plusieurs benchmarks multimodaux, soit jusqu'à 195.4% et 17.1% fois plus rapide que EAGLE-3 et DFlash respectivement.

Pourquoi c'est important Le décodage pour le VQA (Question Réponse Visuelle) et la compréhension vidéo est plus rapide sans altérer la sortie ; les poids du modèle brouillon sont publiés et peuvent être chargés directement dans les versions originales de SGLang et vLLM

J'aime 35 · Étoiles du code 22

Raisons

  • Le modèle brouillon ne réencode pas les images ou les vidéos, il lit directement les états cachés du modèle cible qui ont déjà intégré les informations visuelles, de sorte que la surcharge ne dépend pas du nombre de tokens visuels
  • Les poids du modèle brouillon sont publiés pour quatre modèles cibles : Qwen3.5-4B, Qwen3.5-9B, Qwen3.8-27B et Gemma 4 E4B-it, chaque fiche de modèle incluant les commandes de déploiement et les scores par benchmark
  • Le dépôt contient l'ensemble du flux de travail, de la régénération des données et du scoring de la dépendance visuelle à l'entraînement, l'exportation et l'évaluation ; la même configuration permet également d'entraîner le modèle de base DFlash pour comparaison

Utilisation

  • Code : Collection MMFlash du compte FSCCS https://github.com/fscdc/MMFlash(MIT);草稿权重在抱脸
  • Le déploiement ne nécessite pas ce dépôt : utilisez la version originale de SGLang ou vLLM pour lancer le modèle cible (par exemple Qwen/Qwen3.5-4B), sélectionnez l'algorithme de décodage spéculatif DFLASH, indiquez FSCCS/Qwen3.5-4B-MMFlash comme modèle brouillon, puis envoyez des requêtes avec images via une interface compatible OpenAI

Risques

  • Le modèle brouillon ne peut pas être utilisé seul, il doit être associé à son modèle cible correspondant ; seuls quatre modèles cibles sont actuellement pris en charge
  • Les données d'accélération du README ont été mesurées sur une seule carte H200, avec une taille de batch de 1 et un décodage glouton, ce qui diffère légèrement des critères du résumé de l'article ; l'entraînement nécessite des versions patchées de SGLang et Mooncake
  • Les performances sont rapportées par les auteurs ; cette entrée n'a pas été exécutée

Ouvrir · Code · Page de l'article

Hugging Face Daily Papers

Parcourir les dernières actualités IA