Duo est composé de deux modules : Intent et Realization. La vidéo de l'utilisateur est découpée en segments via la reconnaissance vocale et l'alignement forcé, puis envoyée à Intent. Ce dernier décide sur une ligne temporelle unifiée s'il faut répondre et comment le faire, avant de guider Realization pour générer les contenus audio et vidéo de l'assistant. Cette fois-ci, nous ouvrons la version causale de base de Duo-1.0, la version distillée en 4 étapes et la version quantifiée FP8, ainsi que la version causale de base de Duo-1.2 avec une qualité d'image améliorée ; les poids sont initialisés à partir de MiniMax H3. La branche principale est un flux de travail hors ligne destiné à la recherche, tandis que les branches vLLM-Omni et SGLang-Omni offrent un déploiement en streaming temps réel.
Pourquoi c'est important La plupart des modèles génératifs attendent que vous ayez fini de parler avant de produire un résultat ; celui-ci utilise un module Intent autorégressif pour décider quand et comment répondre, puis pilote le module de génération pour produire l'audio et la vidéo, tout en ouvrant le code source du déploiement en streaming.
J'aime (Hugging Face) 4 · Score de tendance (Hugging Face) 4 · Téléchargements (Hugging Face) 0
Licence : usage commercial sous conditions · ComfyUI : non disponible · VRAM : non spécifiée
Licence régionale : la licence des poids ouverts de MiniMax H3 exclut l'Union européenne, le Royaume-Uni, la Corée du Sud et les États-Unis (Territoires exclusifs dans LICENSE) ; une autorisation distincte de MiniMax est requise pour ces quatre régions.
Raisons
- Article scientifique, rapport technique, console de démonstration navigateur et démo en ligne sur Hugging Face inclus
- Code sous licence Apache-2.0, les poids sont également fournis via ModelScope (MoDa)
Utilisation
- Clonez github.com/inclusionAI/Duo, créez deux environnements Python distincts pour le modèle et la voix selon le README, exécutez hf download inclusionAI/Duo-1.2-causal-base --local-dir weights, modifiez configs/inference.json puis lancez run_demo.py --port 4173, enregistrez une vidéo dans l'interface web pour voir comment il répond
Risques
- Version préliminaire, ne prend actuellement en charge que les conversations audio et vidéo de base ; l'interaction visuelle est prévue pour v2 ; la configuration hors ligne par défaut nécessite 2 cartes graphiques CUDA
- Les poids suivent la licence communautaire MiniMax H3, qui ne s'applique pas à l'Union européenne, au Royaume-Uni, à la Corée du Sud et aux États-Unis