AURA 2.0:看着视频流会主动开口的助手模型

AURA 2.0 是流式视频大模型,在 AURA 基础上加了三项能力:模型主动发起对话(MIC),没有用户提问时也能从视频流里找值得说的话题、在合适时机开口;感知流的工具调用(SATC),按当前画面和对话调用外部工具并把结果接回对话;交互式视觉定位(IVG),能认出用户在画面上标出的物体,回答时输出与帧对齐的框。另加长时交互记忆 LHIM,在长视频流里保持上下文。团队构建了专门的流式交互数据集并分三阶段训练;作者称在公开流式基准上领先开源流式模型。

原题:Beyond Answering: Learning to Speak First and Act in Streaming Video

AURA 2.0 是流式视频大模型,在 AURA 基础上加了三项能力:模型主动发起对话(MIC),没有用户提问时也能从视频流里找值得说的话题、在合适时机开口;感知流的工具调用(SATC),按当前画面和对话调用外部工具并把结果接回对话;交互式视觉定位(IVG),能认出用户在画面上标出的物体,回答时输出与帧对齐的框。另加长时交互记忆 LHIM,在长视频流里保持上下文。团队构建了专门的流式交互数据集并分三阶段训练;作者称在公开流式基准上领先开源流式模型。

为什么重要 多数助手只在被问时回答;它面向实时陪伴和现场指导,权重、语音前后端和浏览器界面一起开源

点赞 8 · 代码星数 28

理由

  • 已放出 AURA 2.0 和 BF8 两个权重,以及双工后端、浏览器界面、工具执行器和部署脚本,Apache-2.0
  • 演示是完整的语音通话:Qwen3-ASR-1.7B 听写、Qwen3-TTS-12Hz-1.7B 说话,可以按住说话、打字,也可以在画面上画圈提问
  • 可选用 Qwen3-VL-8B-Instruct 做长对话记忆摘要(默认关闭)

用法

  • 代码:https://github.com/aurateam2026/Aura2.0;权重在抱脸 aurateam/AURA_2(或 AURA_2_BF8),下载后先用 deploy/lib/check_ckpt.py 检查
  • bash deploy/aura.sh up --aura 权重目录 --gpus 0,1 --speaker Serena 一键起服务(首次会装环境、下载 ASR / TTS 模型并做冒烟测试),浏览器打开 localhost:9310;远程服务器用 SSH 隧道,手机访问要配 HTTPS 反向代理
  • 也可用 Docker 部署,镜像要自己构建(官方没有发布现成镜像)

风险

  • 验证过的配置是 2 张 80 GB 加速卡;单卡配置需要一张约 70 GB 空闲的 80 GB 卡,其他硬件未验证
  • 摘要没有给具体分数,“领先开源流式模型”是作者报告;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态