Fish Audio の多話者音声合成モデルは、10 月 23 日にすでに収録済みです。1 つのテキストを最大 16 人の話者に割り当てられ、音声クローニングに対応しています。[sighs] などのタグや自然言語によるトーン制御が可能で、前回の音声に基づいて歌詞や台詞を変更して再録音することもできます。今回再収録したのは、メインリポジトリの重みが 10 月 29 日に全体的に更新されたためです。
上昇スコア 111 · いいね 1127 · ダウンロード数 31923
理由
- 新コンテンツ：10 月 29 日にメインリポジトリへ一連の新重みがアップロードされ、シャード数が 8 個から 15 個に変更されました。アップロード時の説明には「RL 第 100 回イテレーション」の重みであり、FP8 形式やファイル構成は変更なしと記載されていましたが、この説明はその後削除されました。10 月 29 日より前にダウンロードした場合は、最新版を取得するために再ダウンロードが必要です。
- ライセンスの補正：10 月 23 日の本欄では「LICENSE.md が開けず、商用利用条件を確認できない」と記載していましたが、実際にはリポジトリ内の LICENSE ファイルは読める状態でした。これは Fish Audio コミュニティライセンス 1.0 です。研究および非商用利用は無料です。年間収入が 50 万ドル未満の個人または企業は無料で商用利用できます。TTS API やホスティングサービスを提供する場合は、規模に関係なく別途契約が必要です。
- 技術レポート（arXiv 2610.18010）によると、強化学習段階では学習された人間の好みモデルのみを報酬として使用しています。推論エンジンでは、H200 1 枚で単一ストリームあたり毎秒 271 フレームをデコードし、Fish Audio S2 は 177 フレームです（いずれも公式発表値）。
使い方
- SGLang-Omni：git clone sgl-project/sglang-omni、uv pip install --prerelease=allow -e ".[fishaudio]" を実行後、sgl-omni serve --model-path fishaudio/drama-3 --port 8000 で起動します。vLLM-Omni も利用可能です：vllm serve fishaudio/drama-3 --omni --port 8091。
- /v1/tts の呼び出し：references に参考音声と文字起こしテキストを渡して音声をクローンします。テキスト内では <|speaker:0|> から <|speaker:15|> を使用して話者を割り当て、発声が必要な位置に [sighs] や [laughs] などのタグを挿入します。台詞を変更して再録音する場合は、古いテキストを previous_takes に含めると、複数回連続で修正できます。
- 並列数が多い場合、公式ではボコーダを 2 枚目の GPU に配置することを推奨しています。256 並列時のスループットは約 72% 向上し、初回パケット遅延の中央値は 37% 短縮されます。
リスク
- 重みの更新に関する変更履歴や新旧バージョンの比較がなく、何が改善されたのか公式からは説明されていません。本欄では新旧バージョンのサンプルを聴いていません。
- モデルカードの冒頭には依然として存在しない LICENSE.md へのリンクが残っています。条件はリポジトリ内の LICENSE を参照してください。ホスティング / API サービスおよび年間収入が 50 万ドルを超える商用利用は、別途契約が必要です。
- メイン重みは約 39.6 GB です（エキスパート層は FP8）。公式のベンチマークはすべて H200 で実施されており、コンシューマー向け GPU で動作するかについては言及されていません。現時点では ComfyUI には対応していません。