FastFrames-L:Apple の 2 ステップ自己回帰ビデオ生成モデル

Apple Machine Learning Research Team が 11 月 16 日にアップロードしました。FastFrames は、自己回帰かつ 2 ステップサンプリングを行うビデオ拡散モデルで、480p(832×480、81 フレーム、16 fps)を出力します。L バージョンは 14B です。まず Wan2.1-14B を Causal Forcing++ に基づいて 2 ステップ因果モデルに蒸留し、その後、ピクセルデコーダと KV 補正ネットワークを訓練します。リポジトリには、因果教師モデル、一貫性蒸留、DMD 蒸留、および最終的な生成器のすべてのチェックポイントが含まれています。さらに、1.3B の FastFrames-S と、速度が 16 倍向上し、カメラ制御が可能な LingBot 1.3B デモも提供されています。

原题:apple/FastFrames-L

Apple Machine Learning Research Team が 11 月 16 日にアップロードしました。FastFrames は、自己回帰かつ 2 ステップサンプリングを行うビデオ拡散モデルで、480p(832×480、81 フレーム、16 fps)を出力します。L バージョンは 14B です。まず Wan2.1-14B を Causal Forcing++ に基づいて 2 ステップ因果モデルに蒸留し、その後、ピクセルデコーダと KV 補正ネットワークを訓練します。リポジトリには、因果教師モデル、一貫性蒸留、DMD 蒸留、および最終的な生成器のすべてのチェックポイントが含まれています。さらに、1.3B の FastFrames-S と、速度が 16 倍向上し、カメラ制御が可能な LingBot 1.3B デモも提供されています。

なぜ重要か インタラクティブなビデオ生成向けであり、公式によれば小規模版は単一 GPU で 1 ステップあたり数十ミリ秒で動作します。大規模版は蒸留の各段階のチェックポイントとともに公開されています。

上昇スコア 42 · いいね 42 · ダウンロード数 0

理由

  • 公式が提供する FastFrames-S の単一 GPU における 480p レイテンシの内訳:DiT の 2 回の実行でそれぞれ約 16 ms、KV 補正で 2.2 ms、ピクセルデコードで 0.9 ms、合計で 35.4 ms。L バージョンのベンチマークには 8 枚の GPU を使用しています。
  • Wan2.1-14B から最終的な生成器に至るまで、各蒸留段階の重みがリポジトリに含まれており、研究の再現性を高めています。
  • VBench の再現手順と、プロジェクトページ 20 にある複数動画の生成スクリプトが付属しています。

使い方

  • Linux x86-64、NVIDIA GPU、CUDA 12.8 に対応したドライバが必要です。GitHub の apple-aiml-research/ml-fastframes をクローンした後、uv sync を実行し、チェックポイントガイドに従って本リポジトリおよびサードパーティの重みをダウンロードしてください。
  • テキストからビデオへ:uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output out.mp4
  • インタラクティブデモ:lingbot のドキュメントに従って設定した後、apps/lingbot/demo.py を実行します(複数 GPU を使用する場合は --gpus 8 を指定)。ブラウザで localhost:8000 を開いてください。

リスク

  • ライセンスは Apple Machine Learning Research License(apple-amlr)と Apple Sample Code License であり、用途が制限されています。LingBot 部分は CC BY-NC-SA 4.0 であり、非商用利用のみ可能です。
  • 最終的な DiT ファイルは約 28.6 GB あり、中間チェックポイントを含めるとリポジトリ全体で約 200 GB になります。公式には単一 GPU の VRAM 要件は記載されておらず、L バージョンのデモとベンチマークには 8 枚の GPU が使用されています。
  • 論文はまだ公開されておらず、カード内に画質比較の数値はありません。出力は 480p のみです。本項目は実行されていません。

開く

Hugging Face Trending

最新の AI ニュースを見る