원제: apple/FastFrames-L
Apple Machine Learning Research 팀이 11월 16일에 업로드했습니다. FastFrames는 자기회귀 방식의 2단계 샘플링 비디오 확산 모델로, 480p 해상도(832×480, 81프레임, 16fps)를 출력합니다. L 버전은 14B 규모로, 먼저 Wan2.1-14B를 Causal Forcing++ 기법을 통해 2단계 인과 모델로 증류(distillation)한 후 픽셀 디코더와 KV 보정 네트워크를 학습시킵니다. 저장소에는 인과 교사 모델, 일관성 증류, DMD 증류 및 최종 생성기의 모든 체크포인트가 포함되어 있습니다. 또한 1.3B 규모의 FastFrames-S와, 속도를 16배 높이고 카메라 제어가 가능한 LingBot 1.3B 데모도 제공됩니다.
왜 중요한가 상호작용 가능한 비디오 생성을 목표로 하며, 공식적으로 소형 버전은 단일 GPU에서 한 단계당 수십 밀리초가 소요된다고 합니다. 대형 버전은 증류 각 단계의 체크포인트와 함께 공개되었습니다.
상승 점수 42 · 좋아요 42 · 다운로드 수 0
이유
- 공식적으로 제공된 FastFrames-S의 단일 GPU 480p 지연 시간 분해: DiT 두 번 각각 약 16ms, KV 보정 2.2ms, 픽셀 디코딩 0.9ms로 총합 35.4ms입니다. L 버전의 속도 측정은 8개의 GPU를 사용했습니다.
- Wan2.1-14B부터 최종 생성기까지 각 증류 단계의 가중치가 저장소에 모두 포함되어 있어 연구 재현이 용이합니다.
- VBench 재현 설명서와 프로젝트 페이지 20에 있는 여러 비디오 생성 스크립트가 첨부되어 있습니다.
사용법
- Linux x86-64, NVIDIA GPU, CUDA 12.8을 지원하는 드라이버 필요. GitHub의 apple-aiml-research/ml-fastframes를 클론한 후 uv sync를 실행하고, 체크포인트 가이드에 따라 이 저장소 및 타사 가중치를 다운로드합니다.
- 텍스트에서 비디오 생성: uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output out.mp4
- 인터랙티브 데모: lingbot 문서를 참고하여 설정한 후 apps/lingbot/demo.py를 실행합니다(다중 GPU 사용 시 --gpus 8 옵션 추가). 브라우저에서 localhost:8000에 접속합니다.
리스크
- 라이선스는 Apple Machine Learning Research License(apple-amlr) 및 Apple Sample Code License로 용도가 제한됩니다. LingBot 부분은 CC BY-NC-SA 4.0 비영리 조건입니다.
- 최종 DiT 파일은 약 28.6GB이며, 중간 체크포인트를 포함하면 전체 저장소 크기가 200GB에 달합니다. 공식 문서에는 단일 GPU의 VRAM 요구 사항이 명시되어 있지 않으며, L 버전 데모와 속도 측정 모두 8개의 GPU를 사용합니다.
- 논문은 아직 공개되지 않았고, 카드에는 화질 비교 수치가 없으며 출력 해상도는 480p로 제한됩니다. 이 항목은 실행되지 않았습니다.