Titre original : Beyond Answering: Learning to Speak First and Act in Streaming Video
AURA 2.0 est un grand modèle vidéo en flux continu, qui ajoute trois capacités à AURA : l'initiative conversationnelle du modèle (MIC), permettant de trouver des sujets dignes d'intérêt dans le flux vidéo et de prendre la parole au moment opportun, même sans question de l'utilisateur ; l'appel d'outils sensible au flux (SATC), qui appelle des outils externes en fonction de l'image actuelle et de la conversation, puis intègre les résultats dans l'échange ; et le localisation visuelle interactive (IVG), capable de reconnaître les objets marqués par l'utilisateur sur l'image et de produire des boîtes alignées sur les images lors des réponses. Il intègre également une mémoire interactive à long terme (LHIM) pour maintenir le contexte dans les flux vidéo longs. L'équipe a construit un jeu de données d'interaction en flux continu dédié et a entraîné le modèle en trois étapes ; les auteurs affirment qu'il surpasse les modèles vidéo en flux continu open source sur les benchmarks publics.
Pourquoi c'est important La plupart des assistants ne répondent que lorsqu'on les interroge ; celui-ci est conçu pour l'accompagnement en temps réel et le guidage sur le terrain, avec les poids, le frontend/backend vocal et l'interface navigateur tous open source
J'aime 8 · Étoiles du code 28
Raisons
- Les poids AURA 2.0 et BF8 sont publiés, ainsi que le backend duplex, l'interface navigateur, l'exécuteur d'outils et les scripts de déploiement, sous licence Apache-2.0
- La démonstration est un appel vocal complet : transcription avec Qwen3-ASR-1.7B, synthèse vocale avec Qwen3-TTS-12Hz-1.7B, avec possibilité de parler en maintenant le bouton, de taper du texte, ou de dessiner un cercle sur l'image pour poser une question
- Il est possible d'utiliser Qwen3-VL-8B-Instruct pour résumer la mémoire des conversations longues (désactivé par défaut)
Utilisation
- Code : https://github.com/aurateam2026/Aura2.0;权重在抱脸 aurateam/AURA_2 (ou AURA_2_BF8), après téléchargement, vérifiez d'abord avec deploy/lib/check_ckpt.py
- Lancez le service en une commande avec bash deploy/aura.sh up --aura dossier_des_poids --gpus 0,1 --speaker Serena (la première fois, l'environnement s'installe, les modèles ASR / TTS sont téléchargés et un test de fumée est effectué), puis ouvrez localhost:9310 dans le navigateur ; pour un serveur distant, utilisez un tunnel SSH, et pour l'accès depuis un mobile, configurez un proxy inverse HTTPS
- Le déploiement via Docker est également possible, mais l'image doit être construite par vos soins (aucune image prête à l'emploi n'est publiée officiellement)
Risques
- La configuration validée utilise 2 cartes accélératrices de 80 Go ; la configuration mono-carte nécessite une carte de 80 Go avec environ 70 Go de mémoire libre, les autres configurations matérielles n'ont pas été validées
- Le résumé ne fournit pas de scores spécifiques, « surpasse les modèles vidéo en flux continu open source » est une affirmation des auteurs ; cette entrée n'a pas été exécutée
Ouvrir · Code · Page du papier