원제: fishaudio/drama-3
다중 화자 시나리오와 긴 콘텐츠를 위한 Fish Audio의 차세대 텍스트-음성 변환 모델입니다. 텍스트 백본은 MoE(총 파라미터 350억, 토큰당 활성 파라미터 30억, 전체 어텐션과 선형 어텐션 혼합)이며, 오디오 디코더는 10개의 코드북으로 인과적 디코딩을 수행합니다. <|speaker:0|>부터 <|speaker:15|>까지의 태그를 사용하여 하나의 텍스트에서 최대 16명의 화자를 구분할 수 있습니다. 음성 클로닝, 텍스트 내 [sighs], [laughs] 등의 이벤트 태그 삽입을 지원하며, 이전 녹음본의 텍스트를 컨텍스트로 사용하여 한 단어만 수정해 재생성하는 것도 가능합니다. 공식 자료에 따르면 H200 GPU 1개에서 단일 스트림 기준 첫 오디오 패킷 생성 시간은 약 89밀리초이며, 16개의 동시 스트림에서도 생성 속도가 재생 속도의 약 2.7배를 유지합니다.
중요성 오디오북, 라디오 드라마 및 다중 대화 더빙에 적합; 한 단어 수정 시 전체 재녹음 불필요, 단일 스트림 첫 오디오 패킷 생성 시간 100밀리초 미만
상승 점수 59 · 좋아요 1249 · 다운로드 수 46208
이유
- 하나의 텍스트 내에서 여러 화자 전환 지원, 긴 텍스트 자동 분할 및 구간별 스트리밍 출력 가능하여 라디오 드라마, 오디오북 및 다중 대화에 적합
- '연속 편집' 기능: 이전 버전을 previous_takes에 포함시켜 수정이 필요한 단어만 변경하며 연속적으로 여러 번 수정 가능
- SGLang-Omni 및 vLLM-Omni의 첫날 지원, 기술 보고서 및 다양한 동시성 환경에서의 성능 표 제공
사용법
- SGLang-Omni: fishaudio 추가 의존성 설치 후 sgl-omni serve --model-path fishaudio/drama-3 실행; 또는 vllm serve fishaudio/drama-3 --omni 실행
- 요청 시 references에 참고 오디오와 해당 텍스트를 제공하여 음색을 클로닝하고, 텍스트 내에 [sighs], [laughs] 등의 태그를 직접 작성하여 연기를 제어
리스크
- Fish Audio 커뮤니티 라이선스: 연구 및 비상업적 용도는 무료; 연간 매출이 50만 달러 미만인 경우 상업적 사용 가능; 외부에 TTS / 음성 클로닝 호스팅 서비스를 제공하는 경우 별도 라이선스 필요
- 성능 데이터는 공식적으로 H200에서 측정된 값임
- 타인의 음성을 사용하기 전에 반드시 허가를 받아야 함
- 본 항목은 실행되지 않았으므로, 효과는 모델 카드를 기준으로 함