Duo : un modèle de monde en duplex intégral qui répond en temps réel par audio et vidéo tout en regardant et écoutant

Les auteurs estiment que les modèles de monde existants simulent principalement la réalité physique, traitant le raisonnement et la prise de décision comme des contrôles externes. Duo v1 intègre ces deux aspects dans le modèle : le module Intent effectue un raisonnement continu de manière autorégressive et décide quand intervenir dans l'interaction ; le module Realization génère des comportements audio et vidéo cohérents. Les deux modules sont conditionnés par blocs, synchronisent les tokens sur une ligne temporelle unifiée et utilisent des masques d'attention spécifiques à chaque module pour garantir qu'ils ne voient pas les entrées futures ; lors de l'entraînement, la « distillation par double déroulement » permet aux deux côtés d'apprendre respectivement sur leurs propres tokens Intent générés et sur l'historique audio-vidéo synthétique, réduisant ainsi le décalage de distribution lors de l'inférence. Les auteurs affirment que les utilisateurs peuvent dialoguer naturellement et interrompre, montrer des objets physiques, modifier des scènes virtuelles, diriger un assistant ou jouer à des jeux audio-vidéo, sans avoir besoin de souris ni de clavier.

Titre original : Duo: A Reciprocal World Model for Full-Duplex Interaction

Les auteurs estiment que les modèles de monde existants simulent principalement la réalité physique, traitant le raisonnement et la prise de décision comme des contrôles externes. Duo v1 intègre ces deux aspects dans le modèle : le module Intent effectue un raisonnement continu de manière autorégressive et décide quand intervenir dans l'interaction ; le module Realization génère des comportements audio et vidéo cohérents. Les deux modules sont conditionnés par blocs, synchronisent les tokens sur une ligne temporelle unifiée et utilisent des masques d'attention spécifiques à chaque module pour garantir qu'ils ne voient pas les entrées futures ; lors de l'entraînement, la « distillation par double déroulement » permet aux deux côtés d'apprendre respectivement sur leurs propres tokens Intent générés et sur l'historique audio-vidéo synthétique, réduisant ainsi le décalage de distribution lors de l'inférence. Les auteurs affirment que les utilisateurs peuvent dialoguer naturellement et interrompre, montrer des objets physiques, modifier des scènes virtuelles, diriger un assistant ou jouer à des jeux audio-vidéo, sans avoir besoin de souris ni de clavier.

Pourquoi c'est important Intégrer « ce qu'on veut faire » et « comment le manifester » dans un même modèle et sur une même ligne temporelle permet des interruptions naturelles lors de l'interaction, au lieu d'attendre la fin de l'écoute avant de générer

J'aime 36 · Étoiles du code 27

Raisons

  • Publication de quatre jeux de poids : le socle causal Duo-1.0, la version distillée en 4 étapes, une version quantifiée, ainsi que le socle causal Duo-1.2 avec une qualité d'image améliorée ; les poids du module Realization sont initialisés à partir de MiniMax H3 puis réentraînés
  • La branche main propose un flux de travail hors ligne destiné à la recherche (vidéo enregistrée → transcription et alignement via Qwen3-ASR → Intent → Realization → encodage/décodage audio-vidéo) ; les branches inference/vllm-omni-duo (recommandée) et inference/sglang-omni-duo offrent un déploiement en streaming temps réel
  • L'interface frontend propose un mode de prévisualisation sans chargement des poids, permettant de découvrir l'interface d'interaction

Utilisation

  • Code : https://github.com/inclusionAI/Duo(Apache-2.0);权重:抱脸 inclusionAI/Duo-1.2-causal-base (paquet complet incluant ASR et modèles d'alignement)
  • Créez deux environnements virtuels, un pour le modèle et un pour la voix, exécutez hf download inclusionAI/Duo-1.2-causal-base --local-dir weights, copiez et modifiez configs/inference.example.json, puis lancez run_demo.py --port 4173 et enregistrez ou téléversez une vidéo via l'interface web
  • Le socle utilise par défaut un échantillonnage en 50 étapes ; pour utiliser la version distillée en 4 étapes, téléchargez d'abord le socle 1.0 puis écrasez-le avec Duo-1.0-distill dans le même répertoire

Risques

  • v1 est une version préliminaire destinée aux chercheurs ; le README indique qu'elle ne prend actuellement en charge que les conversations audio-vidéo de base ; l'interaction visuelle mentionnée dans le résumé attendra Duo v2
  • La configuration par défaut nécessite deux cartes graphiques CUDA (une pour Intent et l'encodage/décodage, une pour Realization) ; les poids sont soumis à la licence communautaire MiniMax H3
  • Les auteurs ne fournissent pas de chiffres d'évaluation quantifiés ; cette entrée n'a pas été exécutée

Ouvrir · Code · Page du papier sur Facepunch

Hugging Face Daily Papers

Parcourir les dernières actualités IA