FastFrames-L : le modèle de génération vidéo autorégressif en deux étapes d'Apple

L'équipe de recherche en apprentissage automatique d'Apple 11 a publié le 16 du mois. FastFrames est un modèle de diffusion vidéo autorégressif à échantillonnage en deux étapes, produisant une sortie en 480p (832×480, 81 images, 16 fps). La version L de 14B : distille d'abord Wan2.1-14B en un modèle causal en deux étapes via Causal Forcing++, puis entraîne un décodeur de pixels et un réseau de correction KV ; le dépôt contient tous les points de contrôle, y compris l'enseignant causal, la distillation de cohérence, la distillation DMD et le générateur final. Il existe également FastFrames-S de 1.3B, ainsi qu'une démonstration LingBot de 1.3B, accélérée d'un facteur 16 et permettant le contrôle de la caméra.

Titre original : apple/FastFrames-L

L'équipe de recherche en apprentissage automatique d'Apple 11 a publié le 16 du mois. FastFrames est un modèle de diffusion vidéo autorégressif à échantillonnage en deux étapes, produisant une sortie en 480p (832×480, 81 images, 16 fps). La version L de 14B : distille d'abord Wan2.1-14B en un modèle causal en deux étapes via Causal Forcing++, puis entraîne un décodeur de pixels et un réseau de correction KV ; le dépôt contient tous les points de contrôle, y compris l'enseignant causal, la distillation de cohérence, la distillation DMD et le générateur final. Il existe également FastFrames-S de 1.3B, ainsi qu'une démonstration LingBot de 1.3B, accélérée d'un facteur 16 et permettant le contrôle de la caméra.

Pourquoi c'est important Destiné à la génération vidéo interactive, la version petite taille ne nécessiterait que quelques dizaines de millisecondes par étape sur une seule carte selon les chiffres officiels ; la version grande taille est publiée avec tous les points de contrôle des différentes étapes de distillation

Score de montée 42 · J'aime 42 · Téléchargements 0

Raisons

  • Décomposition de la latence fournie par les officiels pour FastFrames-S en 480p sur une seule carte : environ 16 ms pour chaque passe DiT, 2.2 ms pour la correction KV, 0.9 ms pour le décodage de pixels, soit un total de 35.4 ms ; les tests de vitesse de la version L utilisent 8 cartes
  • Du modèle Wan2.1-14B au générateur final, les poids de chaque étape de distillation sont présents dans le dépôt, facilitant la reproduction de la recherche
  • Inclut des instructions de reproduction VBench et des scripts de génération de plusieurs vidéos pour la page du projet 20

Utilisation

  • Linux x86-64, GPU NVIDIA, pilote compatible avec CUDA 12.8 ; après avoir cloné le dépôt GitHub apple-aiml-research/ml-fastframes, exécutez uv sync, puis téléchargez les poids de ce dépôt et des tiers selon le guide des points de contrôle
  • Génération texte-vers-vidéo : uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output out.mp4
  • Démonstration interactive : configurez selon la documentation lingbot puis exécutez apps/lingbot/demo.py (utilisez --gpus 8 pour plusieurs cartes), puis ouvrez localhost:8000 dans le navigateur

Risques

  • La licence est la Licence de recherche en apprentissage automatique d'Apple (apple-amlr) et la Licence de code d'exemple d'Apple, avec des usages restreints ; la partie LingBot est sous CC BY-NC-SA 4.0 non commerciale
  • Le fichier DiT final fait environ 28.6 Go, et l'ensemble du dépôt avec les points de contrôle intermédiaires approche les 200 Go ; les exigences en mémoire vidéo pour une seule carte ne sont pas précisées par les officiels, et la démonstration ainsi que les tests de vitesse de la version L utilisent 8 cartes
  • L'article n'est pas encore publié, il n'y a pas de chiffres de comparaison de qualité dans la fiche, la sortie est uniquement en 480p ; cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA