Duo:視聴しながらリアルタイムで音声・映像に応答する全二重通信対応の世界モデル

著者は、既存の世界モデルは主に物理的現実をシミュレートし、推論と意思決定を外部制御として扱っていると指摘しています。Duo v1 は、この2つの要素をモデル内に統合しました。Intent モジュールは自己回帰方式で継続的に推論し、対話への参加タイミングを決定します。Realization モジュールは、一貫性のある音声・映像行動を生成します。両者はブロック単位で条件を構築し、統一されたタイムライン上でトークンを同期させ、モジュール固有の注意マスクを用いて未来の入力を参照しないようにします。学習時には「二重展開蒸留」を用いて、Intent トークンと合成された音声・映像履歴のそれぞれに対して両モジュールが個別に学習することで、推論時の分布シフトを軽減します。著者によれば、ユーザーは自然な対話や割り込みが可能であり、マウスやキーボードを使わずに実物の提示、仮想シーンの変更、アシスタントへの指示、音声・映像ゲームのプレイなどが行えます。

原題:Duo: A Reciprocal World Model for Full-Duplex Interaction

著者は、既存の世界モデルは主に物理的現実をシミュレートし、推論と意思決定を外部制御として扱っていると指摘しています。Duo v1 は、この2つの要素をモデル内に統合しました。Intent モジュールは自己回帰方式で継続的に推論し、対話への参加タイミングを決定します。Realization モジュールは、一貫性のある音声・映像行動を生成します。両者はブロック単位で条件を構築し、統一されたタイムライン上でトークンを同期させ、モジュール固有の注意マスクを用いて未来の入力を参照しないようにします。学習時には「二重展開蒸留」を用いて、Intent トークンと合成された音声・映像履歴のそれぞれに対して両モジュールが個別に学習することで、推論時の分布シフトを軽減します。著者によれば、ユーザーは自然な対話や割り込みが可能であり、マウスやキーボードを使わずに実物の提示、仮想シーンの変更、アシスタントへの指示、音声・映像ゲームのプレイなどが行えます。

なぜ重要か 「何をしたいか」と「どう表現するか」を同一のモデル、同一のタイムラインに統合することで、対話中に自然な割り込みが可能になり、聞き終えてから生成する従来手法から脱却

いいね 36 · コードスター数 27

理由

  • 4種類の重みを公開:Duo-1.0 因果ベースモデル、4 ステップ蒸留版、量子化版、および画質改善された Duo-1.2 因果ベースモデル。Realization の重みは MiniMax H3 から初期化後に再学習
  • main ブランチは研究用のオフラインパイプライン(録画済み動画 → Qwen3-ASR による文字起こしとアライメント → Intent → Realization → 音声・映像エンコード/デコード)を提供。inference/vllm-omni-duo(推奨)および inference/sglang-omni-duo ブランチはリアルタイムストリーミングデプロイに対応
  • フロントエンドには重みをロードしないプレビューモードがあり、まずインタラクティブなインターフェースを確認可能

使い方

  • コード:https://github.com/inclusionAI/Duo(Apache-2.0);权重:抱脸 inclusionAI/Duo-1.2-causal-base(ASR とアライメントモデルを含む完全パッケージ)
  • モデル用と音声用の2つの仮想環境を作成し、hf download inclusionAI/Duo-1.2-causal-base --local-dir weights を実行、configs/inference.example.json をコピーして修正後、run\_demo.py --port 4173 を実行し、Webページで動画を録画またはアップロード
  • ベースモデルはデフォルトで 50 ステップサンプリングを使用。4 ステップ蒸留版を使用する場合は、まず 1.0 ベースモデルをダウンロードし、Duo-1.0-distill を同じディレクトリに上書き

リスク

  • v1 は研究者向けのプレビュー版であり、README には現在基本的な音声・映像対話のみがサポートされていると記載。要約で言及された視覚的インタラクションは Duo v2 を待つ必要がある
  • デフォルト設定では2枚の CUDA GPU が必要(Intent とエンコード/デコード用に1枚、Realization 用に1枚)。重みは MiniMax H3 コミュニティライセンスが適用される
  • 著者は定量的な評価数値を提示していない。本項目は未実行

開く · コード · 論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る