Ceci est la conversion en poids Apple MLX du modèle LongCat-Video-Avatar 1.6 de Meituan, réalisée par l'auteur communautaire fedeinfe : à partir d'une photo de portrait (ou de quelques images réelles) et d'un fichier audio, le système génère une vidéo parlante de longueur arbitraire. Le modèle 1.6 conserve l'architecture de 1.5, mais utilise un DiT de 136 milliards de paramètres réentraîné ainsi que deux LoRA distillés ; selon la recommandation de Meituan, l'échantillonnage sur 8 étapes utilise DMD pour les 4 premières étapes et OPSD pour les 4 dernières. Les longs fichiers audio sont découpés en segments de 93 images (à 25 fps) puis raccordés pour former un plan continu. L'auteur a mesuré, sur une machine M5 Max dotée de 64 Go de mémoire, qu'une génération vidéo de 3.7 secondes en 480p prend environ 8 minutes, avec une mémoire vive maximale d'environ 47 Go.
Pourquoi c'est important Il peut s'exécuter localement sur des Mac équipés de puces Apple, les longs fichiers audio sont automatiquement raccordés pour former un plan continu, et des scripts permettant d'entraîner des LoRA spécifiques à la synchronisation labiale sont fournis ; en revanche, il est gourmand en mémoire et lent à produire des vidéos.
J'aime 3 · Points gagnés grâce aux « j'aime » 3 · Téléchargements 0
Licence : usage commercial autorisé · ComfyUI : non disponible · Mémoire GPU : non spécifiée
Raisons
- Licence MIT, identique à celle de la version originale de Meituan ; les poids du DiT sont une conversion bit à bit des poids bf16 de Meituan.
- La fiche modèle fournit les vitesses, l'utilisation mémoire et les scores de synchronisation labiale pour deux résolutions : 480p et 1120×832.
Utilisation
- Exécutez git clone -b feat/avatar-1.6-continuation-lora https://github.com/fedeinfe/longcat-avatar-mlx,建, créez un environnement virtuel Python 3.12 et installez les dépendances via pip install -e ".[parity]" librosa pyloudnorm pillow ftfy ; téléchargez les poids dans le dossier weights, puis lancez scripts/generate.py en passant --image pour le portrait, --audio pour la voix, --prompt pour la description et --out pour le fichier de sortie.
Risques
- Compatible uniquement avec les Mac équipés de puces Apple, nécessitant 64 Go de mémoire unifiée ; les poids occupent 51.5 Go ; une vidéo en 1120×832 prend environ 45 minutes.
- Le code d'inférence se trouve dans la branche de l'auteur, et la demande de fusion vers le dépôt original n'a pas encore été intégrée ; si vous fournissez un audio à 30 fps, la synchronisation labiale sera désynchronisée : il faut générer à 25 fps puis interpoler les images.
- Avant de générer des vidéos utilisant le portrait et la voix d'une autre personne, obtenez son autorisation explicite.