원제: AURA: AUdio-dRiven streaming Avatar
프랑스 Kyutai 등의 팀이 개발한 스트리밍 말하는 아바타 모델: 인물 사진과 음성을 입력하면 영상이 구간별로 생성되며, 각 구간은 해당 구간의 음성만 필요로 합니다. 이 방식은 50 단계의 양방향 교사 모델을 4 단계의 인과적 학생 모델로 증류하는 것입니다. 먼저 학생 모델이 슬라이딩 윈도우 인과 주의 메커니즘 하에서 교사 모델의 궤적을 따르도록 정렬한 후, 역방향 시뮬레이션이 포함된 분포 매칭 증류(DMD)를 통해 화질을 보정합니다. 롤링 KV 캐시는 첫 번째 구간을 신원 앵커로 유지하고 최근 구간만 보관하므로, 장시간 스트리밍 생성 중에도 GPU 메모리가 증가하지 않습니다. 논문에서는 1.3B 버전이 단일 GPU에서 실시간으로 576p를 출력하고, 5B 버전은 720p를 출력하며, 각각의 교사 모델보다 각각 23배와 17배 빠르다고 보고했습니다.
왜 중요한가 기존의 오디오 기반 영상 생성은 수십 단계의 노이즈 제거가 필요하고 이후의 음성을 미리 확보해야 하므로 음성 어시스턴트와의 연동이 어려웠습니다. 반면 이 모델은 구간별로 생성하며, 소형 모델도 단일 GPU로 실시간 화면 출력이 가능합니다
좋아요 1 · 코드 스타 수 0
이유
- AURA-1.3B, AURA-5B 두 개의 모델과 1.3B 교사 모델, 그리고 3만 개의 합성 영상 및 사전 계산된 교사 궤적 데이터셋을 공개했습니다
- README의 테스트 표에 따르면 HALLO3 및 CelebV-HQ 테스트셋에서 1.3B 버전은 모든 비교 방법 중 신원 유지(CSIM) 점수가 가장 높았습니다. 사용자 연구에서는 5B 버전이 화질, 입술 동기화, 충실도, 자연스러움의 네 가지 항목 모두에서 Hallo3보다 우수했습니다
- Kyutai 자체 음성 모델인 Unmute와 연결하여 대화 가능한 가상 아바타를 만들 수 있으며, 공식 웹사이트에 온라인 데모가 있습니다
사용법
- 코드: https://github.com/kyutai-labs/aura;权重:https://huggingface.co/kyutai/AURA-1.3B, https://huggingface.co/kyutai/AURA-5B;演示:https://aura.kyutai.org/
- CUDA GPU 및 uv가 필요합니다. git clone 후 uv sync를 실행하고, uv run generate.py --image portrait.jpg --audio speech.wav --output out.mp4을 실행합니다. --model aura-5b 옵션으로 5B 버전을 사용할 수 있으며, --compile로 속도를 높이고 --num_chunks로 길이를 제어할 수 있습니다
- Python 인터페이스: from aura import Aura; Aura("aura-1.3b").generate(이미지, 음성)을 호출하면 구간별로 영상 텐서가 반환됩니다. 얼굴이 화면의 상당 부분을 차지하는 정사각형 또는 가로형 인물 사진에서 가장 좋은 효과를 냅니다
리스크
- 두 가중치 모두 비상업적 라이선스입니다: 1.3B는 CC BY-NC 4.0, 5B는 Snap 비상업적 라이선스(TalkVerse-S2V-5B에서 파생)를 따릅니다
- 논문의 실시간 속도는 H100에서 최적화된 파이프라인으로 측정된 것입니다. README에 따르면 저장소 기본 코드에 --compile 옵션을 추가할 경우 1.3B는 약 16 fps, 5B는 약 8 fps를 기록합니다. 본 항목은 실행되지 않았습니다
- 실제 인물이 임의의 말을 하는 영상을 생성할 수 있으므로, 저자는 본인의 동의를 얻은 사진만 사용하고 AI 생성임을 명시하며 타인을 사칭하거나 허위 정보를 유포하지 않도록 요구했습니다
열기 · 코드 · Hugging Face 논문 페이지