Метод малошаговой авторегрессионной дистилляции видео от лаборатории ZIP Университета Чжэцзян и соавторов, направленный на проблему «искажения» объектов или сцен, которые покидают кадр и затем возвращаются в длинных видео. Подход заключается в том, что учитель предсказывает один и тот же зашумленный блок ученика в двух контекстах, отличающихся только наличием информативной истории (более ранние, менее дрейфующие блоки ученика или фиксированный вид учителя, постоянно направленный на сцену). Разница между этими предсказаниями используется как остаток, который взвешивается и добавляется к целевой функции оценки/скорости для дистилляции, после чего ученик выравнивается по этой скорректированной цели. Одна и та же фреймворк применяется отдельно для генерации длинных видео длительностью 60 секунд и для мировой модели «эволюции сцен вне поля зрения».
Лайки 5 · Звёзды на GitHub 27
Причины
- Авторы утверждают, что для модели размером 1.3B качество по VBench для видео длительностью 15 секунд составляет 85.07, а общий балл VBench-Long для видео длительностью 60 секунд — 79.82, что является лучшим результатом среди моделей того же масштаба; для моделирования мира вне поля зрения качество эволюции PlayWorld улучшилось с 2.35 до 2.70, а согласованность объектов по MemoBench — с 58.43 до 62.18.
- Полнота публикации: генераторы длинных видео (база Wan2.1-T2V-1.3B), мировые модели (база DreamX-World-5B) и три чекпоинта AR-учителя, а также обучающие данные и входные данные для оценки PlayWorld / MemoBench доступны на Hugging Face; код для вывода, обучения и оценки находится в репозитории, лицензия кода — Apache-2.0.
- В отличие от первого рекомендованного метода, который также использует малошаговую авторегрессионную линию на базе Wan2.1-1.3B, данный метод решает проблему скорости, а тот — проблему долгосрочной согласованности, поэтому их полезно читать в сравнении.
Использование
- Окружение: Linux + GPU NVIDIA (совместимость с CUDA 12.8), создание окружения conda с Python 3.12, установка torch 2.8.0, затем pip install -r requirements.txt.
- Длинные видео: выполните hf download Wan-AI/Wan2.1-T2V-1.3B --local-dir models/Wan2.1-T2V-1.3B и hf download xzxxntxdy/History-Forcing dmd/model.pt --local-dir models/History-Forcing, затем запустите bash scripts/long_video/inference.sh --prompt "…" --output-dir output/demo/long_video для генерации видео длительностью 60 секунд.
- Мировая модель: скачайте Wan2.2-TI2V-5B, GD-ML/DreamX-World-5B и opsd/model.pt, а также датасет, затем выполните bash scripts/world_model/run.sh inference --checkpoint models/History-Forcing/opsd/model.pt --num-samples 1 (входные данные: первое изображение кадра, текстовый запрос сцены и действия камеры).
Риски
- В README не указаны требования к видеопамяти и скорость генерации; для обучения требуется дополнительно скачать веса инициализации Causal-Forcing и промпты Self-Forcing, а также использовать W&B для логирования.
- Чекпоинты основаны на Wan2.1 / Wan2.2 и DreamX-World; сторонние компоненты имеют собственные лицензии, и лицензия модели не указана отдельно в карточке модели.
- Баллы приведены по данным авторов; методика оценки качества эволюции PlayWorld описана в основном тексте статьи; поскольку сгенерированные видео не просматривались, качество изображения не оценивается.