Des chercheurs de Google, de l'UC Santa Barbara, de Stanford, d'Oxford et d'autres institutions ont publié StreamVibe sur arXiv le 26 10. L'objectif est de créer un assistant vidéo capable d'observer l'utilisateur cuisiner, assembler des meubles ou utiliser un logiciel, de comprendre des demandes sans condition de déclenchement explicite telles que « aidez-moi si je suis bloqué », et de s'adapter si l'utilisateur change d'avis en cours de route. L'article comprend trois parties : StreamVibe-Bench, une référence distinguant les intentions explicites, implicites et dynamiques ; StreamVibe-VL, un modèle de flux qui décide chaque seconde s'il doit rester silencieux ou parler (utilisant ensuite l'apprentissage par renforcement pour réduire les interruptions) ; et StreamVibe-Harness, qui utilise une mémoire hiérarchique pour suivre les demandes en attente et la progression des tâches.
Confiance : élevée (95) · Date de l'événement 2026-10-26
Raisons
- La plupart des assistants vidéo existants sont conçus pour des instructions explicites telles que « prévenez-moi quand l'eau bout ». L'article souligne qu'il leur est difficile de déterminer quand intervenir de manière proactive et qu'ils ne se souviennent pas des étapes déjà accomplies, ce qui conduit souvent à des répétitions ou à des conseils obsolètes.
- Selon la synthèse des résultats de l'article par The Decoder, tous les modèles testés voient leurs performances se dégrader sensiblement en raison de l'accumulation d'erreurs lors de l'exécution continue sur des vidéos longues ; sur les vidéos de plus de cinq minutes, ils parviennent rarement à choisir le bon moment pour intervenir. Cela indique que les « assistants IA permanents » sont encore loin d'être fiables.
- Selon The Decoder, StreamVibe-VL semble être basé sur Qwen3.5-9B, mais reste en retard par rapport à Gemini 3.8 Flash, le modèle fermé de Google, dans plusieurs tests.
Utilisation
- L'article est disponible sur arxiv.org/abs/2610.34662. La page du projet, stream-vibe.github.io, propose des vidéos de démonstration et des exemples ; le code et les poids du modèle sont marqués comme « en cours d'approbation interne, publication dans 7 jours ».
Risques
- L'article affirme que StreamVibe-VL améliore le moment de la réponse et la qualité des réponses par rapport à la référence de 10.7%, et que Harness améliore encore les performances d'interaction proactive de 12.3%. Ces résultats proviennent de références créées par les auteurs eux-mêmes et n'ont pas fait l'objet d'une évaluation par les pairs ; les échantillons de référence ont été générés par Gemini 2.5 Flash, puis sélectionnés après un accord unanime de quatre évaluateurs humains (selon The Decoder).
- Le code et les poids ne sont pas encore publiés ; « dans 7 jours » est une indication de la page du projet ; les auteurs reconnaissent également que les scénarios réels sont plus complexes que les configurations de test.
Ouvrir · Article arXiv 2610.34662 · Page du projet StreamVibe