Titre original : Hy-Nomas-Diffusers
Tencent Hy-Nomas est un modèle de génération de monde vidéo prenant en charge les interactions libres et multi-tours : il génère une séquence vidéo à la fois, permettant à l'utilisateur d'introduire des objets, de modifier le style et la scène, de décrire des actions ou de fournir une trajectoire de caméra pour contrôler l'angle de vue via des instructions textuelles pendant la génération. Le modèle est composé d'un DiT autorégressif par segments, d'un encodeur de texte Qwen, d'un module de conditionnement de caméra et d'un décodeur vidéo PixelUMM, utilisant un cache KV persistant pour transmettre le contexte entre les segments. Ce dépôt contient les poids BF16 Diffusers distillés, l'exemple utilise 4 étapes de débruitage et produit une sortie de 704 × 1280 à 24 FPS.
Pourquoi c'est important Faire passer les « modèles de monde » d'une simple observation à une interaction dynamique où l'on peut modifier le monde en temps réel : ajouter des objets, changer le style et la scène, décrire des actions et contrôler l'angle de vue se font tous au cours d'une même génération.
J'aime 14 · Score de popularité en hausse 0 · Téléchargements 154
Licence : usage commercial sous conditions · ComfyUI : mentionné dans la fiche du modèle · VRAM : ≈21 GB (estimation)
Raisons
- Compte tencent sur Hugging Face
- ComfyUI : paquet ComfyUI tiers : t8star/HY-Nomas-Comfy
- Note 35 (fraîcheur 0 / source 15 / popularité 0 / comfy 4 / vram 4 / démo 5 / licence 7)
Utilisation
- Chargement via HyNomasModularPipeline de Diffusers ; vous pouvez également essayer la démo officielle
Risques
- La fiche du modèle indique apache-2.0, mais le texte de la LICENSE contient des restrictions géographiques, d'échelle ou d'usage ; le texte original fait foi
- Estimation de la VRAM par le programme : environ 21 GB (sans compter l'offload)