Оригинальное название: apple/FastFrames-L
Команда исследований машинного обучения Apple 11 загрузила 16 числа. FastFrames — это авторегрессионная модель диффузии видео с двухшаговой выборкой, выдающая разрешение 480p (832×480, 81 кадров, 16 fps). Версия L содержит 14B параметров: сначала модель Wan2.1-14B дистиллируется в двухшаговую каузальную модель согласно методу Causal Forcing++, затем обучаются пиксельный декодер и сеть коррекции KV; в репозитории также представлены все чекпоинты каузального учителя, дистилляции согласованности, дистилляции DMD и финального генератора. Также доступны версия FastFrames-S на 1.3B параметров и демонстрация LingBot 1.3B с ускорением в 16 раз и поддержкой управления камерой.
Почему это важно Ориентирована на интерактивную генерацию видео; по официальным данным, малая версия требует всего несколько десятков миллисекунд на одном шаге с использованием одной видеокарты; большая версия опубликована вместе с чекпоинтами всех этапов дистилляции
Рост рейтинга 42 · Лайки 42 · Загрузки 0
Причины
- Официальная разбивка задержки для FastFrames-S при разрешении 480p на одной видеокарте: два прохода DiT занимают примерно по 16 мс, коррекция KV — 2.2 мс, пиксельное декодирование — 0.9 мс, итого 35.4 мс; тестирование скорости для версии L проводилось на 8 видеокартах
- В репозитории представлены веса на каждом этапе дистилляции от Wan2.1-14B до финального генератора, что облегчает воспроизведение результатов исследования
- Приложены инструкции по воспроизведению бенчмарка VBench и скрипты для генерации нескольких видео на странице проекта 20
Использование
- Linux x86-64, видеокарта NVIDIA, драйвер с поддержкой CUDA 12.8; после клонирования GitHub apple-aiml-research/ml-fastframes выполните uv sync и загрузите веса из этого репозитория и сторонние веса согласно руководству по чекпоинтам
- Генерация видео по тексту: uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output out.mp4
- Интерактивная демонстрация: после настройки согласно документации lingbot запустите apps/lingbot/demo.py (для нескольких видеокарт используйте --gpus 8) и откройте в браузере localhost:8000
Риски
- Лицензии: Apple Machine Learning Research License (apple-amlr) и Apple Sample Code License, использование ограничено; часть LingBot распространяется под лицензией CC BY-NC-SA 4.0 (некоммерческое использование)
- Финальный файл DiT занимает около 28.6 ГБ, а весь репозиторий вместе с промежуточными чекпоинтами приближается к 200 ГБ; официальные требования к объему видеопамяти для одной карты не указаны, демонстрация и тестирование скорости версии L выполняются на 8 видеокартах
- Статья еще не опубликована, в карточке отсутствуют цифры сравнения качества изображения, выходное разрешение составляет всего 480p; данная запись не была проверена на практике