Tiêu đề gốc: apple/FastFrames-L
Nhóm nghiên cứu máy học của Apple 11 đăng tải vào ngày 16. FastFrames là mô hình khuếch tán video tự hồi quy, lấy mẫu hai bước, đầu ra 480p (832×480, 81 khung hình, 16 fps). Phiên bản L 14B: trước tiên chưng cất Wan2.1-14B thành mô hình nhân quả hai bước theo Causal Forcing++, sau đó huấn luyện bộ giải mã pixel và mạng hiệu chỉnh KV; kho lưu trữ đồng thời chứa tất cả các điểm kiểm tra (checkpoint) của giáo viên nhân quả, chưng cất nhất quán, chưng cất DMD và bộ sinh cuối cùng. Ngoài ra còn có FastFrames-S 1.3B, cũng như bản demo LingBot 1.3B tăng tốc 16 lần, có thể điều khiển máy quay.
Tại sao quan trọng Hướng tới sinh video có thể tương tác, phiên bản chính thức cho biết phiên bản nhỏ chỉ mất vài chục mili giây cho một bước trên một GPU; phiên bản lớn cùng với các điểm kiểm tra của từng giai đoạn chưng cất đều được công khai
Điểm tăng 42 · Lượt thích 42 · Lượt tải xuống 0
Lý do
- Phân tích độ trễ trên một GPU của FastFrames-S do chính thức cung cấp ở độ phân giải 480p: hai lần DiT mỗi lần khoảng 16 ms, hiệu chỉnh KV 2.2 ms, giải mã pixel 0.9 ms, tổng cộng 35.4 ms; phép đo tốc độ của phiên bản L sử dụng 8 GPU
- Từ Wan2.1-14B đến bộ sinh cuối cùng, trọng số của mỗi giai đoạn chưng cất đều có trong kho lưu trữ, thuận tiện cho việc tái tạo nghiên cứu
- Kèm theo hướng dẫn tái tạo VBench và các script sinh nhiều đoạn video trên trang dự án 20
Cách sử dụng
- Linux x86-64, card đồ họa NVIDIA, trình điều khiển hỗ trợ CUDA 12.8; sau khi nhân bản GitHub apple-aiml-research/ml-fastframes, chạy uv sync, tải xuống kho lưu trữ này và các trọng số của bên thứ ba theo hướng dẫn điểm kiểm tra
- Sinh video từ văn bản: uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output out.mp4
- Demo tương tác: cấu hình theo tài liệu lingbot rồi chạy apps/lingbot/demo.py (nhiều GPU dùng --gpus 8), mở localhost:8000 trên trình duyệt
Rủi ro
- Giấy phép là Giấy phép Nghiên cứu Máy học Apple (apple-amlr) và Giấy phép Mã ví dụ Apple, mục đích sử dụng bị hạn chế; phần LingBot là CC BY-NC-SA 4.0 phi thương mại
- File DiT cuối cùng khoảng 28.6 GB, toàn bộ kho lưu trữ cùng với các điểm kiểm tra trung gian gần 200 GB; chính thức không ghi rõ yêu cầu VRAM trên một GPU, demo và phép đo tốc độ của phiên bản L đều dùng 8 GPU
- Bài báo khoa học chưa được công bố, không có số liệu so sánh chất lượng hình ảnh trong thẻ, đầu ra chỉ có 480p; mục này chưa được chạy thử