Google 与 UC Santa Barbara、Stanford、Oxford 等机构的研究者 10 月 26 日在 arXiv 发表 StreamVibe。目标是一个看着用户做饭、组装家具或操作软件的视频助手,能理解“我卡住了就帮我”这类没有明确触发条件的请求,并在用户中途改主意时跟着调整。论文包括三部分:区分显式、隐式和动态意图的基准 StreamVibe-Bench;每秒判断该沉默还是该说话的流式模型 StreamVibe-VL(再用强化学习让它少打断人);以及用分层记忆跟踪待办请求和任务进度的 StreamVibe-Harness。
置信度:高(95) · 事件时间 2026-10-26
理由
- 现有视频助手多为“水开了提醒我”这种明确指令设计,论文指出它们很难判断该在什么时候主动帮忙,也记不住已经完成了哪些步骤,容易重复或给出过时建议。
- 据 The Decoder 对论文结果的转述,所有被测模型在长视频连续运行时都会因为错误累积而明显变差,超过五分钟的视频里很少能抓准开口时机;这说明“常驻的 AI 助手”离可靠还有距离。
- 据 The Decoder,StreamVibe-VL 看起来基于 Qwen3.5-9B,在多项测试中仍落后于 Google 自家闭源的 Gemini 3.8 Flash。
用法
- 论文 arxiv.org/abs/2610.34662,项目页 stream-vibe.github.io 有演示视频和示例;代码和抱脸权重标注“内部审批中,7 天内发布”。
风险
- 论文称 StreamVibe-VL 让响应时机与回答质量比基线提升 10.7%、Harness 让主动交互表现再提升 12.3%,均为作者自建基准上的结果,未经同行评审;基准样本由 Gemini 2.5 Flash 生成建议、四名人工评审一致通过后入选(据 The Decoder)。
- 代码和权重尚未发布,“7 天内”是项目页的说法;作者也承认真实场景比测试设置复杂。