AURA-1.3B

AURA 是 Kyutai 与索邦大学的音频驱动串流头像模型(论文 arXiv 2611.26540):把 50 步双向的教师模型蒸馏成每段 4 步的因果学生模型,用滚动 KV 缓存逐段生成,只需要当前这段的音频。1.3B 版以 Wan2.1-T2V-1.3B 为底座、用 Mimi 音频编码,576p,是家族里唯一能实时的;另有基于 Snap TalkVerse 的 AURA-5B(720p,论文称单张 H100 上 9.7 帧每秒)。两者都给了合并好的独立权重和只含 LoRA 的训练检查点,训练轨迹数据集也公开了。

AURA 是 Kyutai 与索邦大学的音频驱动串流头像模型(论文 arXiv 2611.26540):把 50 步双向的教师模型蒸馏成每段 4 步的因果学生模型,用滚动 KV 缓存逐段生成,只需要当前这段的音频。1.3B 版以 Wan2.1-T2V-1.3B 为底座、用 Mimi 音频编码,576p,是家族里唯一能实时的;另有基于 Snap TalkVerse 的 AURA-5B(720p,论文称单张 H100 上 9.7 帧每秒)。两者都给了合并好的独立权重和只含 LoRA 的训练检查点,训练轨迹数据集也公开了。

为什么重要 按小段边收音频边出画面,不用等整段语音;论文称单张 H100 上端到端 20.7 帧每秒,比教师模型快 23 倍。

抱脸点赞 7 · 抱脸上升分 7 · 抱脸下载 0

许可证:非商用 · ComfyUI:暂无 · 显存:显存未标

理由

  • 附论文、代码仓库和训练配置、训练指标日志,可复现
  • 模型卡放了同一段语音配三张不同肖像的样例

用法

  • 克隆 kyutai-labs/aura 并运行 uv sync,下载 stage2_dmd/step-6500_ema_merged.safetensors(约 6.3 GB),再从 Wan2.1-T2V-1.3B 取 VAE 和 T5 文本编码器,按代码仓库的说明输入一张肖像和一段语音

风险

  • 1.3B 是 CC BY-NC 4.0、5B 是 Snap 非商用许可,都不能商用
  • 能把任何肖像做成说话视频,只用自己或已获授权的人像,发布时标明 AI 生成
  • 实时数字是论文在 H100 上测的,消费级显卡的速度和显存模型卡没写;暂无 ComfyUI 支持

打开

抱脸 image-to-video 新模型

浏览最新 AI 动态