원제: Beyond Answering: Learning to Speak First and Act in Streaming Video
AURA 2.0는 스트리밍 비디오 대규모 모델로, AURA를 기반으로 세 가지 기능을 추가했습니다. 모델이 자발적으로 대화를 시작하는 기능(MIC)은 사용자가 질문하지 않아도 영상 스트림에서 언급할 가치가 있는 주제를 찾아 적절한 시점에 말을 걸 수 있게 합니다. 스트림 인식을 통한 도구 호출 기능(SATC)은 현재 화면과 대화 내용을 바탕으로 외부 도구를 호출하고 그 결과를 대화에 다시 연결합니다. 대화형 시각적 위치 지정 기능(IVG)은 사용자가 화면에 표시한 물체를 인식하고, 답변 시 프레임과 정렬된 바운딩 박스를 출력합니다. 또한 장시간 대화 기억 기능(LHIM)을 추가하여 긴 영상 스트림에서도 문맥을 유지합니다. 팀은 전용 스트리밍 대화 데이터셋을 구축하고 3단계로 나누어 학습했으며, 저자들은 공개된 스트리밍 벤치마크에서 오픈소스 스트리밍 모델 대비 우월한 성능을 보였다고 주장합니다.
왜 중요한가 대부분의 어시스턴트는 질문을 받을 때만 답변하지만, 이 모델은 실시간 동행 및 현장 지도를 목표로 하며, 가중치, 음성 프론트엔드/백엔드, 브라우저 인터페이스가 모두 오픈소스로 공개되었습니다
좋아요 8 · 코드 스타 수 28
이유
- AURA 2.0 및 BF8 두 가지 가중치와 함께 양방향 백엔드, 브라우저 인터페이스, 도구 실행기, 배포 스크립트가 공개되었으며, 라이선스는 Apache-2.0입니다
- 데모는 완전한 음성 통화 형식입니다. Qwen3-ASR-1.7B가 음성 인식을 담당하고, Qwen3-TTS-12Hz-1.7B가 음성 합성을 담당하며, 누르면서 말하기, 타이핑, 화면에 원을 그려 질문하기 등의 기능을 지원합니다
- 긴 대화 기억 요약용으로 Qwen3-VL-8B-Instruct를 선택적으로 사용할 수 있습니다(기본값은 비활성화)
사용법
- 코드: https://github.com/aurateam2026/Aura2.0;权重在抱脸 aurateam/AURA_2(또는 AURA_2_BF8)에서 다운로드한 후, 먼저 deploy/lib/check_ckpt.py를 사용하여 체크포인트를 확인하세요
- bash deploy/aura.sh up --aura 가중치_디렉토리 --gpus 0,1 --speaker Serena 명령어로 서비스를 원클릭 실행할 수 있습니다(첫 실행 시 환경 설치, ASR / TTS 모델 다운로드 및 스모크 테스트가 수행됩니다). 브라우저에서 localhost:9310로 접속하세요. 원격 서버의 경우 SSH 터널을 사용하며, 모바일 접근을 위해 HTTPS 리버스 프록시를 설정해야 합니다
- Docker를 사용하여 배포할 수도 있으나, 이미지는 직접 빌드해야 합니다(공식적으로 미리 빌드된 이미지는 제공되지 않습니다)
리스크
- 검증된 구성은 2개의 80 GB 가속 카드입니다. 단일 카드 구성의 경우 약 70 GB의 여유 공간이 있는 80 GB 카드가 필요하며, 다른 하드웨어 구성은 검증되지 않았습니다
- 요약에는 구체적인 점수가 명시되지 않았으며, '오픈소스 스트리밍 모델 대비 우월'하다는 주장은 저자들이 보고한 내용입니다. 본 항목은 실행되지 않았습니다