FastFrames-L: двухшаговая авторегрессионная модель генерации видео от Apple

Команда исследований машинного обучения Apple 11 загрузила 16 числа. FastFrames — это авторегрессионная модель диффузии видео с двухшаговой выборкой, выдающая разрешение 480p (832×480, 81 кадров, 16 fps). Версия L содержит 14B параметров: сначала модель Wan2.1-14B дистиллируется в двухшаговую каузальную модель согласно методу Causal Forcing++, затем обучаются пиксельный декодер и сеть коррекции KV; в репозитории также представлены все чекпоинты каузального учителя, дистилляции согласованности, дистилляции DMD и финального генератора. Также доступны версия FastFrames-S на 1.3B параметров и демонстрация LingBot 1.3B с ускорением в 16 раз и поддержкой управления камерой.

Оригинальное название: apple/FastFrames-L

Команда исследований машинного обучения Apple 11 загрузила 16 числа. FastFrames — это авторегрессионная модель диффузии видео с двухшаговой выборкой, выдающая разрешение 480p (832×480, 81 кадров, 16 fps). Версия L содержит 14B параметров: сначала модель Wan2.1-14B дистиллируется в двухшаговую каузальную модель согласно методу Causal Forcing++, затем обучаются пиксельный декодер и сеть коррекции KV; в репозитории также представлены все чекпоинты каузального учителя, дистилляции согласованности, дистилляции DMD и финального генератора. Также доступны версия FastFrames-S на 1.3B параметров и демонстрация LingBot 1.3B с ускорением в 16 раз и поддержкой управления камерой.

Почему это важно Ориентирована на интерактивную генерацию видео; по официальным данным, малая версия требует всего несколько десятков миллисекунд на одном шаге с использованием одной видеокарты; большая версия опубликована вместе с чекпоинтами всех этапов дистилляции

Рост рейтинга 42 · Лайки 42 · Загрузки 0

Причины

  • Официальная разбивка задержки для FastFrames-S при разрешении 480p на одной видеокарте: два прохода DiT занимают примерно по 16 мс, коррекция KV — 2.2 мс, пиксельное декодирование — 0.9 мс, итого 35.4 мс; тестирование скорости для версии L проводилось на 8 видеокартах
  • В репозитории представлены веса на каждом этапе дистилляции от Wan2.1-14B до финального генератора, что облегчает воспроизведение результатов исследования
  • Приложены инструкции по воспроизведению бенчмарка VBench и скрипты для генерации нескольких видео на странице проекта 20

Использование

  • Linux x86-64, видеокарта NVIDIA, драйвер с поддержкой CUDA 12.8; после клонирования GitHub apple-aiml-research/ml-fastframes выполните uv sync и загрузите веса из этого репозитория и сторонние веса согласно руководству по чекпоинтам
  • Генерация видео по тексту: uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output out.mp4
  • Интерактивная демонстрация: после настройки согласно документации lingbot запустите apps/lingbot/demo.py (для нескольких видеокарт используйте --gpus 8) и откройте в браузере localhost:8000

Риски

  • Лицензии: Apple Machine Learning Research License (apple-amlr) и Apple Sample Code License, использование ограничено; часть LingBot распространяется под лицензией CC BY-NC-SA 4.0 (некоммерческое использование)
  • Финальный файл DiT занимает около 28.6 ГБ, а весь репозиторий вместе с промежуточными чекпоинтами приближается к 200 ГБ; официальные требования к объему видеопамяти для одной карты не указаны, демонстрация и тестирование скорости версии L выполняются на 8 видеокартах
  • Статья еще не опубликована, в карточке отсутствуют цифры сравнения качества изображения, выходное разрешение составляет всего 480p; данная запись не была проверена на практике

Открыть

Hugging Face Trending

Открыть последние новости ИИ