AURA:边听语音边生成说话头像视频

法国 Kyutai 等团队的流式说话头像模型:输入一张人像和语音,视频一段一段生成,每段只需要这一段的音频。做法是把 50 步的双向教师模型蒸馏成 4 步的因果学生,先让学生在滑动窗口因果注意力下对齐教师轨迹,再用带反向模拟的分布匹配蒸馏(DMD)补画质;滚动 KV 缓存只保留第一段作身份锚点加最近一段,长时间流式生成显存不涨。论文称 1.3B 版在单张 GPU 上实时输出 576p,5B 版输出 720p,分别比各自教师快 23 倍和 17 倍。

原题:AURA: AUdio-dRiven streaming Avatar

法国 Kyutai 等团队的流式说话头像模型:输入一张人像和语音,视频一段一段生成,每段只需要这一段的音频。做法是把 50 步的双向教师模型蒸馏成 4 步的因果学生,先让学生在滑动窗口因果注意力下对齐教师轨迹,再用带反向模拟的分布匹配蒸馏(DMD)补画质;滚动 KV 缓存只保留第一段作身份锚点加最近一段,长时间流式生成显存不涨。论文称 1.3B 版在单张 GPU 上实时输出 576p,5B 版输出 720p,分别比各自教师快 23 倍和 17 倍。

为什么重要 以往音频驱动视频要几十步去噪、还要提前拿到后面的音频,难以接语音助手;它逐段生成,小号模型单卡就能实时出画面

点赞 1 · 代码星数 0

理由

  • 放出 AURA-1.3B、AURA-5B 两个模型、1.3B 的教师模型,以及 3 万条合成视频和预先算好的教师轨迹数据集
  • README 测试表:在 HALLO3 和 CelebV-HQ 测试集上,1.3B 版的身份保持(CSIM)在所有对比方法里最高;用户研究里 5B 版在画质、口型、还原度、自然度四项都优于 Hallo3
  • 可和 Kyutai 自家的语音模型 Unmute 串起来做能对话的虚拟形象,官网有在线演示

用法

  • 代码:https://github.com/kyutai-labs/aura;权重:https://huggingface.co/kyutai/AURA-1.3B 、https://huggingface.co/kyutai/AURA-5B;演示:https://aura.kyutai.org/
  • 需要 CUDA 显卡和 uv:git clone 后 uv sync,uv run generate.py --image portrait.jpg --audio speech.wav --output out.mp4;加 --model aura-5b 用 5B 版,--compile 提速,--num_chunks 控制长度
  • Python 接口:from aura import Aura; Aura("aura-1.3b").generate(图片, 音频) 逐段返回视频张量;人脸占画面较大的方形或横向人像效果最好

风险

  • 两个权重都是非商用许可:1.3B 为 CC BY-NC 4.0,5B 为 Snap 非商用许可(源自 TalkVerse-S2V-5B)
  • 论文的实时速度是在 H100 上用优化管线测的;README 称仓库自带代码加 --compile 时 1.3B 约 16 fps、5B 约 8 fps。本条未运行
  • 能生成真人说任意话的视频,作者要求只用取得本人同意的照片、并标明 AI 生成,不得冒充他人或造谣

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态