MovieRoll: фреймворк потоковой генерации длинных видео от Tencent Hunyuan

Потоковая генерация видео должна сохранять качество за пределами длины, использованной при обучении, одновременно обрабатывая собственную историю генерации и растущий кэш. MovieRoll сначала обучает многошаговую базовую модель с помощью оконного принудительного обучения учителя (WinTF): внутри окна выполняется совместная денуизация с прогрессивным шумом и двунаправленным вниманием, а к предыдущей истории применяется только причинно-следственный доступ; иерархический KV-кэш (HieraKV) сохраняет всю историю на неглубоких слоях и только начало и последние фрагменты на глубоких слоях, авторы заявляют, что объем памяти кэша уменьшается максимум на 78%. Затем с помощью накопительной длинной донастройки (CuLT-DMD) она дистиллируется в генератор с малым числом шагов; при выводе контекст ограничивается пересчетом KV, а базовая модель дополнительно использует AnnealCFG для постепенного снижения уровня управления. По заявлению авторов, на HeliosBench базовая модель, обученная только на видео длиной до 15 секунд, сохраняет конкурентоспособность вплоть до 30 секунд, а дистиллированная модель показывает наивысший общий балл в оценках одиночных и множественных событий с максимальной длительностью 60 секунд.

Оригинальное название: MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos

Потоковая генерация видео должна сохранять качество за пределами длины, использованной при обучении, одновременно обрабатывая собственную историю генерации и растущий кэш. MovieRoll сначала обучает многошаговую базовую модель с помощью оконного принудительного обучения учителя (WinTF): внутри окна выполняется совместная денуизация с прогрессивным шумом и двунаправленным вниманием, а к предыдущей истории применяется только причинно-следственный доступ; иерархический KV-кэш (HieraKV) сохраняет всю историю на неглубоких слоях и только начало и последние фрагменты на глубоких слоях, авторы заявляют, что объем памяти кэша уменьшается максимум на 78%. Затем с помощью накопительной длинной донастройки (CuLT-DMD) она дистиллируется в генератор с малым числом шагов; при выводе контекст ограничивается пересчетом KV, а базовая модель дополнительно использует AnnealCFG для постепенного снижения уровня управления. По заявлению авторов, на HeliosBench базовая модель, обученная только на видео длиной до 15 секунд, сохраняет конкурентоспособность вплоть до 30 секунд, а дистиллированная модель показывает наивысший общий балл в оценках одиночных и множественных событий с максимальной длительностью 60 секунд.

Почему это важно Потоковая генерация тем более склонна к сбоям, чем дальше идет процесс; этот подход объединяет обучение, дистилляцию и вывод в единую схему, веса для генерации видео из текста и из изображений уже опубликованы

Лайки 10 · Звезды на GitHub 53

Причины

  • Выпущены три набора весов: базовая модель (генерация видео из текста + из изображений, 50 шагов) и две дистиллированные модели (генерация видео из текста и из изображений, 5 шагов, без CFG), все на основе HunyuanVideo-1.5 480p
  • Можно использовать один промпт или последовательно несколько промптов для событий, которые будут происходить одно за другим в одном и том же видео
  • С самого начала поддерживаются SGLang Diffusion и vLLM-Omni; в каталоге agent репозитория находятся навыки агента для переписывания промптов, запуска и портирования, которые можно напрямую передать программирующему агенту для выполнения

Использование

  • Код: https://github.com/Tencent-Hunyuan/MovieRoll(腾讯混元社区许可);权重在抱脸 yunyangge/MovieRoll, требуется сначала принять условия доступа и войти в систему для загрузки
  • Также требуются VAE от HunyuanVideo-1.5, текстовые энкодеры Qwen2.5-VL-7B-Instruct и byt5-small; для генерации видео длиной около 30 секунд используйте команду python generate_movieroll.py --model ckpts/movieroll/distilled/t2v --prompt "…" --video-length 721, длинные промпты дают более стабильный результат, можно предварительно использовать встроенный навык переписывания промптов

Риски

  • Для вывода на одной видеокарте весь конвейер должен помещаться в显存 (видеопамять) (в README указано, что достаточно видеокарты на 96 ГБ), обязательно требуется FlashAttention-3 (архитектура Hopper); выгрузка на CPU пока не поддерживается, поддержка потребительских видеокарт находится в планах
  • Лицензия не распространяется на Европейский союз, Великобританию и Южную Корею
  • Результаты сообщаются авторами; в данном случае тестирование не проводилось

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ