Оригинальное название: MMFlash: Faster Speculative Decoding for Vision-Language Models
Спекулятивное декодирование позволяет легкой черновой модели сначала предложить последовательность токенов, а затем целевая модель параллельно их проверяет; диффузионные черновые модели, такие как DFlash, могут предложить целый блок токенов за один прямой проход, но они ориентированы в основном на чистый текст. Авторы измеряют зависимость каждого токена от изображения с помощью «дивергенции Кульбака–Лейблера распределения следующего токена при наличии/отсутствии изображения» и обнаруживают, что для четверти токенов с наименьшей зависимостью коэффициент принятия составляет 46%, а для четверти с наибольшей зависимостью он составляет всего 22%, и эта разница сохраняется даже после мультимодального обучения. MMFlash увеличивает вес таких токенов во время обучения, а для длинных видеовходов использует разреженное внимание для сокращения избыточных вычислений. В статье утверждается, что на нескольких мультимодальных бенчмарках достигается беспроигрышное ускорение до 3.58 раз, что на 195.4% и 17.1% больше, чем у EAGLE-3 и DFlash соответственно.
Почему это важно Более быстрое декодирование для вопросов по изображениям и понимания видео без изменения выходных данных; веса черновой модели опубликованы, их можно напрямую загрузить в стандартные версии SGLang и vLLM
Лайки 35 · Звезды в коде 22
Причины
- Черновая модель не перекодирует изображения или видео, а напрямую считывает скрытые состояния целевой модели, уже содержащие интегрированную визуальную информацию, поэтому накладные расходы не растут с увеличением количества визуальных токенов
- Опубликованы веса черновых моделей для четырех целевых моделей: Qwen3.5-4B, Qwen3.5-9B, Qwen3.8-27B и Gemma 4 E4B-it; для каждой модели в карточке указаны команды развертывания и результаты по отдельным бенчмаркам
- Репозиторий содержит полный пайплайн: регенерацию данных, оценку визуальной зависимости, обучение, экспорт и тестирование; с помощью той же конфигурации можно обучить базовую модель DFlash для сравнения
Использование
- Код: коллекция MMFlash в аккаунте FSCCS https://github.com/fscdc/MMFlash(MIT);草稿权重在抱脸
- Для развертывания этот репозиторий не требуется: запустите целевую модель (например, Qwen/Qwen3.5-4B) с помощью стандартных SGLang или vLLM, выберите алгоритм спекулятивного декодирования DFLASH, укажите черновую модель FSCCS/Qwen3.5-4B-MMFlash и отправляйте запросы с изображениями через интерфейс, совместимый с OpenAI
Риски
- Черновую модель нельзя использовать отдельно, она должна быть сопряжена с соответствующей целевой моделью; в настоящее время поддерживаются только четыре целевые модели
- Данные об ускорении в README получены на одном GPU H200, при размере батча 1 и жадном декодировании, что не полностью соответствует метрикам из аннотации статьи; для обучения требуются патченные версии SGLang и Mooncake
- Результаты предоставлены авторами; в данном обзоре они не проверялись