AURA:音声を聞きながら話者アバターの動画を生成

フランスのKyutaiなどのチームによるストリーミング話者アバターモデル:1枚のポートレート画像と音声を入力すると、動画がセグメントごとに生成され、各セグメントにはその部分の音声のみが必要となる。手法としては、50ステップの双方向教師モデルを4ステップの因果的学生モデルに蒸留し、まずスライディングウィンドウ因果的アテンション下で学生が教師の軌道に整合するようにし、次に逆シミュレーション付き分布マッチング蒸留(DMD)を用いて画質を補完する。ローリングKVキャッシュは、アイデンティティアンカーとして最初のセグメントと直近のセグメントのみを保持するため、長時間のストリーミング生成でもVRAMが増加しない。論文によると、1.3B版は単一のGPUでリアルタイムに576pを出力し、5B版は720pを出力するが、それぞれ対応する教師モデルより23倍および17倍高速である。

原題:AURA: AUdio-dRiven streaming Avatar

フランスのKyutaiなどのチームによるストリーミング話者アバターモデル:1枚のポートレート画像と音声を入力すると、動画がセグメントごとに生成され、各セグメントにはその部分の音声のみが必要となる。手法としては、50ステップの双方向教師モデルを4ステップの因果的学生モデルに蒸留し、まずスライディングウィンドウ因果的アテンション下で学生が教師の軌道に整合するようにし、次に逆シミュレーション付き分布マッチング蒸留(DMD)を用いて画質を補完する。ローリングKVキャッシュは、アイデンティティアンカーとして最初のセグメントと直近のセグメントのみを保持するため、長時間のストリーミング生成でもVRAMが増加しない。論文によると、1.3B版は単一のGPUでリアルタイムに576pを出力し、5B版は720pを出力するが、それぞれ対応する教師モデルより23倍および17倍高速である。

なぜ重要か 従来の音声駆動動画では数十ステップのノイズ除去が必要であり、かつ後続の音声を事前に取得する必要があったため、音声アシスタントへの統合が難しかった。本手法はセグメントごとに生成するため、小規模モデルでも単一GPUでリアルタイムに映像を出力できる

いいね 1 · コードスター数 0

理由

  • AURA-1.3BおよびAURA-5Bの2つのモデル、1.3Bの教師モデル、さらに3万件の合成動画と事前計算済みの教師軌道データセットを公開
  • READMEのテスト表:HALLO3およびCelebV-HQテストセットにおいて、1.3B版はアイデンティティ保持(CSIM)が比較対象手法の中で最高値を示した。ユーザー調査では、5B版が画質、リップシンク、忠実度、自然度の4項目すべてにおいてHallo3を上回った
  • Kyutai独自の音声モデルUnmuteと連携して対話可能なアバターを構築可能で、公式サイトにオンラインデモがある

使い方

  • コード:https://github.com/kyutai-labs/aura;权重:https://huggingface.co/kyutai/AURA-1.3B 、https://huggingface.co/kyutai/AURA-5B;演示:https://aura.kyutai.org/
  • CUDA対応GPUとuvが必要:git clone後、uv syncを実行し、uv run generate.py --image portrait.jpg --audio speech.wav --output out.mp4を実行。--model aura-5bを指定すると5B版を使用でき、--compileで高速化、--num_chunksで長さを制御可能
  • Pythonインターフェース:from aura import Aura; Aura("aura-1.3b").generate(画像, 音声)によりセグメントごとに動画テンソルを返す。顔が画面の大部分を占める正方形または横長のポートレート画像で最も良い効果が得られる

リスク

  • 両方の重みは非商用ライセンス:1.3BはCC BY-NC 4.0、5BはSnapの非商用ライセンス(TalkVerse-S2V-5B由来)
  • 論文で報告されたリアルタイム速度はH100上で最適化パイプラインを用いて測定されたもの。READMEによると、リポジトリ付属コードに--compileを付与した場合、1.3Bは約16 fps、5Bは約8 fpsとなる。本項目では実行していない
  • 任意の発言を行う実在人物の動画を生成できるため、作者は本人の同意を得た写真のみを使用し、AI生成であることを明記するよう求めている。他人になりすましたり、虚偽の情報を流布したりしてはならない

開く · コード · Hugging Face論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る