Le modèle de monde vidéo interactif de Tencent Hunyuan, déjà indexé le 10 26 : la vidéo est générée segment par segment, chaque segment pouvant intégrer des objets, changer de style, décrire des actions ou suivre une trajectoire de caméra via des instructions textuelles, le contenu précédent étant prolongé grâce au cache KV. Cette ré-indexation fait suite à la publication du rapport technique et à l'ajout de plusieurs voies de déploiement communautaires.
Score de progression 69 · J'aime 126 · Téléchargements 53401
Raisons
- Nouveautés par rapport à l'indexation du 10 26 : le rapport technique a été publié sur arXiv le 10 27 (2610.36729), précisant que le cœur est un modèle de diffusion de 8B paramètres, utilisant des descriptions vidéo structurées avec une attention causale limitée par fenêtre temporelle d'action, entraîné via un curriculum multi-étapes, suivi d'une distillation de diffusion. Le résumé indique que les évaluations humaines sont supérieures aux modèles de monde existants, mais ne fournit pas de scores spécifiques.
- Intégrations communautaires : le nœud ComfyUI-Hy-Nomas tiers, dont l'auteur affirme qu'il fonctionne sur une carte graphique de 12 Go, permettant de démarrer un monde à partir d'une image ou de le contrôler segment par segment avec les touches WASD ; le support a été fusionné dans SGLang Diffusion, prenant en charge les tâches hors ligne et les sessions de streaming en temps réel ; WanGP v18.81 a également ajouté la génération de monde et la navigation au clavier.
- Exemples fournis par l'auteur du nœud ComfyUI : quatre segments de 5 secondes assemblés en 20 secondes, en 1280×704 à 24 fps, prenant environ 3 minutes par segment sur une RTX 4090. Le GitHub officiel indique également que la version distillée prend en charge l'inférence en 4 / 6 / 8 étapes.
Utilisation
- ComfyUI : recherchez Hy-Nomas (world model) dans ComfyUI-Manager, ou exécutez comfy node install hy-nomas. Téléchargez hy_nomas_distil_int8.safetensors depuis PedroMarinhoDev/Hy-Nomas-ComfyUI et placez-le dans diffusion_models, ainsi que hy_nomas_pixelumm_fp8.safetensors dans vae ; utilisez le même encodeur de texte que Qwen-Image, soit qwen_2.5_vl_7b_fp8_scaled. Configurez l'échantillonnage sur euler / simple / 8 étapes / cfg 1, et choisissez une résolution de 1280×704 ou 832×480.
- Code officiel : git clone Tencent-Hunyuan/Hy-Nomas. Pour une utilisation sur un seul GPU, utilisez configs/experiment/single_gpu_low_mem_inference.yaml, configuré avec DiT INT8 et PixelUMM FP8 ; la configuration standard nécessite par défaut 8 cartes avec parallélisme de séquence. Les prompts sont en JSON, chaque segment spécifiant les heures de début et de fin, les segments suivants utilisant description_change pour indiquer comment la scène évolue.
- Si vous ne souhaitez pas déployer, vous pouvez utiliser la démo en ligne officielle (hy-nomas.hy.tencent.com).
Risques
- Le nœud ComfyUI est un projet communautaire, marqué « en développement » par son auteur, les entrées des nœuds peuvent changer, le code est sous licence GPL-3.0. La méthode « démarrer à partir d'une image » consiste à placer l'image dans la mémoire historique, le modèle lui-même n'ayant pas d'entrée image.
- Le résumé du rapport technique ne contient pas de scores quantitatifs, et les détails des évaluations humaines n'ont pas été vérifiés par cette rubrique. La configuration officielle sur un seul GPU 4090 nécessite une grande quantité de mémoire système pour stocker les modèles déchargés et le cache historique qui s'accumule, et la version INT8 ne permet pas de charger de LoRA lors de l'inférence.
- La démo web nécessite le déploiement séparé du service d'amélioration de prompts Nomas-PE ; les 24 fps ne sont que le taux de lecture, la vitesse de génération dépendant du matériel, de la résolution et de la longueur de l'historique.