AURA-1.3B

AURA는 Kyutai와 소르본 대학의 오디오 기반 스트리밍 아바타 모델(논문 arXiv 2611.26540)입니다. 50단계의 양방향 교사 모델을 각 세그먼트당 4단계의 인과적 학생 모델로 증류(distillation)하며, 롤링 KV 캐시를 사용하여 세그먼트별로 생성하고 현재 세그먼트의 오디오만 필요로 합니다. 1.3B 버전은 Wan2.1-T2V-1.3B를 기반으로 하며 Mimi 오디오 인코더를 사용, 576p로, 해당 제품군에서 유일하게 실시간 처리가 가능합니다. 또한 Snap TalkVerse를 기반으로 한 AURA-5B(720p, 논문에서는 단일 H100에서 초당 9.7프레임이라고 주장)도 있습니다. 두 모델 모두 병합된 독립 가중치와 LoRA 전용 학습 체크포인트를 제공하며, 학습 궤적 데이터셋도 공개되었습니다.

AURA는 Kyutai와 소르본 대학의 오디오 기반 스트리밍 아바타 모델(논문 arXiv 2611.26540)입니다. 50단계의 양방향 교사 모델을 각 세그먼트당 4단계의 인과적 학생 모델로 증류(distillation)하며, 롤링 KV 캐시를 사용하여 세그먼트별로 생성하고 현재 세그먼트의 오디오만 필요로 합니다. 1.3B 버전은 Wan2.1-T2V-1.3B를 기반으로 하며 Mimi 오디오 인코더를 사용, 576p로, 해당 제품군에서 유일하게 실시간 처리가 가능합니다. 또한 Snap TalkVerse를 기반으로 한 AURA-5B(720p, 논문에서는 단일 H100에서 초당 9.7프레임이라고 주장)도 있습니다. 두 모델 모두 병합된 독립 가중치와 LoRA 전용 학습 체크포인트를 제공하며, 학습 궤적 데이터셋도 공개되었습니다.

왜 중요한가 작은 세그먼트 단위로 오디오를 수신하면서 동시에 화면을 출력하므로 전체 음성 입력을 기다릴 필요가 없습니다. 논문에서는 단일 H100에서 엔드투엔드 초당 20.7프레임을 달성하며, 교사 모델보다 23배 빠르다고 주장합니다.

좋아요(Hugging Face) 7 · 상승 점수(Hugging Face) 7 · 다운로드 수(Hugging Face) 0

라이선스: 비상업적 · ComfyUI: 없음 · VRAM: VRAM 정보 미기재

이유

  • 논문, 코드 저장소, 학습 구성, 학습 지표 로그가 포함되어 있어 재현 가능
  • 모델 카드에는 동일한 음성으로 서로 다른 초상화 세 장을 생성한 예시가 포함됨

사용법

  • kyutai-labs/aura를 클론하고 uv sync를 실행한 후, stage2_dmd/step-6500_ema_merged.safetensors(약 6.3 GB)를 다운로드하고, Wan2.1-T2V-1.3B에서 VAE와 T5 텍스트 인코더를 가져온 뒤, 코드 저장소의 지침에 따라 초상화 한 장과 음성 한 세그먼트를 입력

리스크

  • 1.3B는 CC BY-NC 4.0, 5B는 Snap의 비상업적 라이선스이므로 모두 상업적 사용이 불가함
  • 임의의 초상화를 말하는 영상으로 변환할 수 있으므로, 본인 또는 허가를 받은 인물의 초상화만 사용하고, 게시 시 AI 생성임을 명시해야 함
  • 실시간 성능 수치는 논문에서 H100 기준으로 측정된 것이며, 소비자용 GPU에서의 속도와 VRAM 사용량은 모델 카드에 명시되지 않았음. 현재 ComfyUI 지원은 없음

열기

抱脸 image-to-video 新模型

최신 AI 소식 보기