Fish Audio의 다중 화자 음성 합성 모델로, 10월 23일에 이미 등재된 바 있습니다. 하나의 텍스트에 최대 16명의 화자를 배정할 수 있으며, 음성 클로닝을 지원합니다. [sighs]와 같은 태그 및 자연어를 통해 어조를 제어할 수 있고, 이전 버전의 오디오를 기반으로 가사를 수정하여 재녹음할 수도 있습니다. 이번 재등재는 메인 리포지토리의 가중치가 10월 29일에 전체적으로 업데이트되었기 때문입니다.
상승 점수 111 · 좋아요 1127 · 다운로드 수 31923
이유
- 새로운 내용: 10월 29일 메인 리포지토리에 새로운 가중치 세트가 업로드되었으며, 분할 파일 수가 8개에서 15개로 변경되었습니다. 업로드 시 첨부된 설명에는 이것이 'RL 100차 반복'의 가중치라고 명시되어 있었으며, FP8 형식과 파일 구조는 변경되지 않았다고 했지만 이 설명은 이후 삭제되었습니다. 10월 29일 이전에 다운로드한 경우, 새 버전을 사용하려면 다시 다운로드해야 합니다.
- 라이선스 정정: 10월 23일 본 란에서는 'LICENSE.md를 열 수 없어 상업적 사용 조건을 확인할 수 없다'고 기재한 바 있습니다. 실제로 리포지토리 내의 LICENSE 파일은 읽을 수 있으며, Fish Audio 커뮤니티 라이선스 1.0에 따르면 연구 및 비상업적 사용은 무료입니다. 연 매출이 50만 달러 미만인 개인 또는 기업은 무료로 상업적 사용이 가능합니다. TTS API 또는 호스팅 서비스를 외부에 제공하는 경우 규모와 관계없이 별도 계약이 필요합니다.
- 기술 보고서(arXiv 2610.18010)에 따르면, 강화 학습 단계에서는 학습된 인간 선호도 모델 하나만 보상 함수로 사용했습니다. 추론 엔진은 H200 한 장에서 단일 스트림 기준 초당 271프레임을 디코딩하며, Fish Audio S2은 177프레임입니다(모두 공식 발표 기준).
사용법
- SGLang-Omni: git clone sgl-project/sglang-omni, uv pip install --prerelease=allow -e ".[fishaudio]"을 실행한 후 sgl-omni serve --model-path fishaudio/drama-3 --port 8000을 실행합니다. vLLM-Omni를 사용할 수도 있습니다: vllm serve fishaudio/drama-3 --omni --port 8091.
- /v1/tts 호출: references에 참조 오디오와 전사문을 전달하여 음성을 클로닝합니다. 텍스트 내에서 <|speaker:0|>부터 <|speaker:15|>까지 사용하여 화자를 배정하고, 소리가 나야 할 위치에 [sighs], [laughs] 등의 태그를 삽입합니다. 가사를 수정하여 재녹음할 때는 이전 텍스트를 previous_takes에 넣으면 여러 번 연속으로 수정할 수 있습니다.
- 동시 접속이 많을 경우, 공식에서는 보코더를 두 번째 GPU에 배치할 것을 권장합니다. 256개 동시 접속 시 처리량이 약 72% 증가하고, 첫 패킷 지연의 중앙값이 37% 감소합니다.
리스크
- 가중치 업데이트에 대한 변경 이력이나 구버전과 신버전의 비교가 없으며, 무엇이 변경되었고 어떤 점이 개선되었는지에 대해 공식적인 설명이 없습니다. 본 란에서는 구버전과 신버전의 샘플을 들어보지 않았습니다.
- 모델 카드의 시작 부분에는 여전히 존재하지 않는 LICENSE.md로 연결된 링크가 남아 있으며, 조건은 리포지토리 내의 LICENSE 파일을 확인해야 합니다. 호스팅 / API 서비스 제공 및 연 매출 50만 달러를 초과하는 상업적 사용의 경우 별도 계약이 필요합니다.
- 메인 가중치는 약 39.6GB(전문가 계층은 FP8)이며, 공식 속도 테스트는 모두 H200에서 수행되었습니다. 소비자용 그래픽 카드에서 실행 가능한지에 대해서는 언급되지 않았으며, 현재 ComfyUI 지원은 없습니다.