AURA は Kyutai とソルボンヌ大学の音声駆動ストリーミングアバターモデルです(論文 arXiv 2611.26540):50 ステップの双方向教師モデルを、各セグメント 4 ステップの因果的(causal)学生モデルに蒸留し、ローリング KV キャッシュを用いてセグメントごとに生成します。この際、現在のセグメントの音声のみを必要とします。1.3B バージョンは Wan2.1-T2V-1.3B をベースとし、Mimi 音声エンコーディングを使用し、576p で、ファミリー内で唯一リアルタイム処理が可能です。また、Snap TalkVerse ベースの AURA-5B(720p、論文では単一の H100 で 9.7 フレーム/秒と報告)もあります。両モデルとも、マージ済みの独立重みと LoRA のみを含む学習チェックポイントが提供されており、学習トラジェクトリデータセットも公開されています。
なぜ重要か 小さなセグメントごとに音声を受信しながら映像を出力するため、音声全体を待つ必要がありません。論文では、単一の H100 でエンドツーエンド 20.7 フレーム/秒を達成し、教師モデルより 23 倍高速であると報告されています。
Hugging Face のいいね数 7 · Hugging Face の上昇スコア 7 · Hugging Face のダウンロード数 0
ライセンス:非商用 · ComfyUI:未対応 · VRAM:記載なし
理由
- 論文、コードリポジトリ、学習設定、学習メトリクスログが添付されており、再現可能
- モデルカードには、同一の音声に異なる3つの肖像を組み合わせたサンプルが含まれている
使い方
- kyutai-labs/aura をクローンし、uv sync を実行、stage2_dmd/step-6500_ema_merged.safetensors(約 6.3 GB)をダウンロード、さらに Wan2.1-T2V-1.3B から VAE と T5 テキストエンコーダを取得し、コードリポジトリの説明に従って1枚の肖像と1つの音声を入力
リスク
- 1.3B は CC BY-NC 4.0、5B は Snap の非商用ライセンスであり、いずれも商用利用不可
- 任意の肖像を話す動画に変換できるため、自分自身または許諾を得た人物の肖像のみを使用し、公開時は AI 生成であることを明記すること
- リアルタイム性能の数値は論文で H100 上で測定されたものであり、コンシューマー向け GPU での速度や VRAM 使用量はモデルカードに記載されていません。ComfyUI のサポートは現在ありません