Диффузионные визуально-языковые модели (например, LLaDA-V) на каждом шаге денуазинга заново вычисляют все визуальные токены изображения, при этом визуальные токены составляют 89–97% от входных данных. Авторы обнаружили, что удаление изображения изменяет раскрываемые токены лишь в среднем на 22.8% шагов. LOWN на каждом шаге сначала предсказывает замаскированные токены без просмотра изображения и действительно обрабатывает изображение только тогда, когда это предсказание не совпадает с предыдущим предсказанием, сделанным с просмотром изображения; совпадающие части считаются «сертифицированными» и могут быть напрямую переиспользованы, при этом раскрывается ровно столько токенов, сколько было сертифицировано.
Лайки 91 · Звёзды на GitHub 7
Обоснование
- Не требует обучения и настройки порогов: по заявлению авторов, метод сохраняет 99.6% баллов модели LLaDA-V на десяти бенчмарках, используя в среднем лишь 35.3% FLOPs декодирования.
- Совместимость с другими методами: по заявлению авторов, метод можно распространить на другие диффузионные визуально-языковые модели на базе LLaDA, он ортогонален прунингу визуальных токенов и позволяет дополнительно ускорить работу при использовании KV-кэша.
- Сравнение запускается двумя командами: в примере с медведем из COCO в README для одного и того же изображения LLaDA-V требует примерно 1930 TFLOPs, а LOWN — примерно 812 TFLOPs, что составляет относительную экономию 0.421 (по заявлению авторов, это аналитическая оценка для декодера и языковой головы модели в примере с одним изображением).
Использование
- Окружение: Linux, Python 3.11, NVIDIA GPU с объёмом видеопамяти более 32 ГБ (PyTorch CUDA 12.6).
- Запуск: git clone github.com/hyeon9698/LOWN → bash setup.sh (создаёт локальное виртуальное окружение .venv, при первом запуске автоматически загружает веса LLaDA-V и SigLIP2) → bash evaluate.sh --gpu 0, результаты и данные о FLOPs сохраняются в outputs/result.json.
- Использование собственных изображений: bash evaluate.sh --gpu 0 --method lown --image путь_к_изображению --prompt "Describe this image."
Риски
- Метод применим только к диффузионным визуально-языковым моделям типа LLaDA-V и не подходит для распространённых авторегрессионных визуально-языковых моделей.
- В README приведены демонстрация на одном изображении и оценка FLOPs, но отсутствуют скрипты воспроизведения результатов для десяти бенчмарков и данные о задержке реального времени (wall-clock latency); в репозитории не указана лицензия (код включает компоненты LLaDA-V, распространяемые под их лицензией).
- Данные о сохранении качества и экономии вычислительных ресурсов приведены по заявлению авторов.