原題:Beyond Answering: Learning to Speak First and Act in Streaming Video
AURA 2.0 は、AURA を基盤に3つの機能を追加したストリーミング動画大規模モデルです。1つ目は、モデルが対話を自発的に開始する機能(MIC)で、ユーザーからの質問がない場合でも、動画ストリームの中から話題にする価値のある内容を見つけ、適切なタイミングで発言します。2つ目は、知覚ストリームに基づくツール呼び出し(SATC)で、現在の映像と会話に応じて外部ツールを呼び出し、その結果を会話に組み込みます。3つ目は、インタラクティブな視覚的定位(IVG)で、ユーザーが画面上で指定した物体を認識し、回答時にフレームと整合するバウンディングボックスを出力します。さらに、長時間の対話記憶(LHIM)を追加し、長い動画ストリームでも文脈を保持できるようにしました。チームは専用のストリーミング対話データセットを構築し、3段階で訓練を行いました。著者らは、公開されているストリーミングベンチマークにおいて、オープンソースのストリーミングモデルを上回る性能を示したと報告しています。
なぜ重要か 多くのアシスタントは質問されたときだけ回答しますが、このモデルはリアルタイムでの伴走や現場指導を想定しており、重み、音声フロントエンド/バックエンド、ブラウザインターフェースがすべてオープンソースとして公開されています
いいね 8 · コードスター数 28
理由
- AURA 2.0 と BF8 の2つの重み、およびデュプレックスバックエンド、ブラウザインターフェース、ツール実行器、デプロイスクリプトが公開されており、ライセンスは Apache-2.0 です
- デモは完全な音声通話形式で、Qwen3-ASR-1.7B による音声認識と Qwen3-TTS-12Hz-1.7B による音声合成を使用しています。プッシュトゥトーク、テキスト入力、画面上に円を描いて質問するインタラクションに対応しています
- オプションで、Qwen3-VL-8B-Instruct を長文対話の記憶要約に使用できます(デフォルトでは無効)
使い方
- コード:https://github.com/aurateam2026/Aura2.0;权重在抱脸 aurateam/AURA_2(または AURA_2_BF8)。ダウンロード後、まず deploy/lib/check_ckpt.py でチェックしてください
- bash deploy/aura.sh up --aura 重みディレクトリ --gpus 0,1 --speaker Serena でサービスをワンクリック起動できます(初回は環境のインストール、ASR / TTS モデルのダウンロード、スモークテストが実行されます)。ブラウザで localhost:9310 を開いてください。リモートサーバーの場合は SSH トンネルを使用し、スマートフォンからアクセスする場合は HTTPS リバースプロキシの設定が必要です
- Docker でのデプロイも可能ですが、イメージは自分でビルドする必要があります(公式には完成したイメージが公開されていません)
リスク
- 検証済みの構成は 2 枚の 80 GB アクセラレータカードです。単一カード構成では、約 70 GB の空き容量がある 80 GB カードが必要であり、他のハードウェア環境での検証は行われていません
- 要約には具体的なスコアが記載されておらず、「オープンソースのストリーミングモデルを上回る」というのは著者による報告です。本記事では実行検証を行っていません
開く · コード · Hugging Face 論文ページ