Решение для генерации длинных видео в реальном времени от группы Чжичже Дэн из Шанхайского университета Цзяотун, где генерация, обучение и исполнение спроектированы вместе. Существующие методы блочной авторегрессии требуют сначала полностью удалить шум из блока, а затем обновить кэш истории, что требует двух прямых проходов даже при одношаговом удалении шума. Wave Forcing использует блочное причинно-следственное внимание, позволяя последующим блокам считывать «более чистый» контекст, когда предыдущие блоки еще не полностью очищены от шума. Затем смещенные этапы удаления шума и обновления кэша распределяются между полными копиями модели на нескольких видеокартах. После заполнения конвейера каждый цикл параллельного прямого прохода выдает один блок (авторы называют это 1F1C). Обучение состоит из трех этапов: удаление шума со смешанным шумом, обучение с контролем движения и причинно-следственная адаптация с использованием самостоятельно сгенерированной истории. Во время выполнения WaveRT использует Wave Parallelism для предварительной однонаправленной отправки K/V каждого слоя, скрывая коммуникацию под вычислениями внимания, а также конвейеризирует декодирование VAE.
Лайки 106 · Звезды в коде 96
Обоснование
- Авторы утверждают, что на модели Wan2.1-T2V-1.3B версия с 4 шагами достигает 147.6 FPS для DiT и 134.8 FPS для сквозной обработки на 8 картах H200, что в 7.07 раз превышает сквозную пропускную способность одной карты; в README указано, что генерация 1593 кадров (примерно 100 секунд при 16 FPS) занимает около 11.8 секунд.
- Что касается качества, авторы заявляют, что версия с 5 шагами в целом сопоставима с Rolling Forcing, но демонстрирует более высокую степень динамики (амплитуду движения) как в коротких, так и в длинных видео; при сравнении только DiT, при одинаковом бэкенде, количестве шагов и карт, Wave Parallelism обеспечивает максимальную пропускную способность, в 2.53 раз превышающую скорость более быстрого из методов контекстного параллелизма Ulysses / Ring (для шести размеров моделей от 1.3B до 14B).
- Доступно для запуска: код инференса и среда выполнения WaveRT распространяются под лицензией Apache-2.0, в репозитории SJTU-DENG-Lab/WaveForcing-1.3B на Hugging Face представлены два чекпоинта в формате BF16 (с 4 и 5 шагами, есть зеркала на ModelScope), также опубликован эталонный код обучения; в день публикации репозиторий занял второе место по количеству лайков на Hugging Face (что отражает только уровень внимания).
Использование
- Загрузка: hf download Wan-AI/Wan2.1-T2V-1.3B-Diffusers --local-dir ckpts/Wan2.1-T2V-1.3B-Diffusers, затем hf download SJTU-DENG-Lab/WaveForcing-1.3B --local-dir ckpts/WaveForcing-1.3B (текстовый энкодер и VAE считываются из базовой модели Wan2.1).
- 5 шагов (раскладка 5+2): python -m wave_rt --model-path ckpts/Wan2.1-T2V-1.3B-Diffusers --gen-ckpt ckpts/WaveForcing-1.3B/5step/model.safetensors --rf-step 5 --wp-size 6 --denoising-step-list 1000,800,600,400,200 --num-frames 24 --height 480 --width 832 --vae-stages 2 --cuda-visible-devices 0,1,2,3,4,5,6,7 --prompt "…", вывод находится в outputs/quickstart/<run-tag>/video.mp4.
- 4 шагов (раскладка 4+3, то есть цифры из заголовка): укажите --gen-ckpt на 4step/model.safetensors и измените параметры на --rf-step 4 --wp-size 5 --denoising-step-list 1000,750,500,250 --vae-stages 3.
- --num-frames — это количество кадров в латентном пространстве, оно должно делиться на 3 без остатка; значение 399 соответствует эталону длинных видео (декодирование 1593 кадров).
Риски
- Высокий порог входа: быстрый старт в README описан для конвейера из 8 карт, окружение проверено только на Python 3.12, PyTorch 2.11.0+cu128, среде выполнения диффузии SGLang и видеокартах архитектуры Hopper; нет инструкций по запуску на одной карте или на потребительских видеокартах.
- На данный момент доступны только чекпоинты размера 1.3B с разрешением 832×480; строка для 14B в таблице README использует веса со случайной инициализацией, предназначена только для тестирования масштабируемости системы и не отражает качество генерации.
- Эталонный код обучения использует лицензию RollingForcing для академических целей, которая отличается от лицензии Apache-2.0 для среды выполнения; показатели FPS и сравнения качества предоставлены авторами, сгенерированные видео не проверялись, поэтому качество изображения не оценивается.
Редакция: подходит для команд, имеющих несколько карт H100 / H200, которые хотят заниматься потоковой передачей длинных видео в реальном времени или изучать блочную авторегрессионную параллельную генерацию видео; пользователям с одной видеокартой рекомендуется сначала изучить полную матрицу конфигураций на странице проекта, прежде чем принимать решение.