原題:fishaudio/drama-3
Fish Audioがマルチキャラクターシーンや長尺コンテンツ向けに開発した次世代テキスト音声変換(TTS)モデル。テキストのバックボーンはMoE(総パラメータ数 350 億、トークンあたりアクティブパラメータ数 30 億、フルアテンションと線形アテンションの混合構成)で、音声デコーダは 10 個のコードブックを用いて因果的にデコードします。0 から 15 までの <|speaker:|> タグを使用することで、1つのテキスト内で最大 16 人のキャラクターを割り当てられます。音声クローン、テキスト内への [sighs] や [laughs] などのイベントタグの挿入、さらに前回の録音テキストをコンテキストとして利用し、単語を1つだけ変更して再生成する機能にも対応しています。公式によれば、H200 GPU1枚で単一ストリームの初回音声パケット生成時間は約 89 ミリ秒、16 ストリーム並列時でも生成速度は再生速度の約 2.7 倍を維持します。
なぜ重要か オーディオブック、ラジオドラマ、複数人による会話の吹き込みに適しています。単語を1つ修正するだけで全体を再録音する必要がなく、単一ストリームの初回音声パケット生成時間は100ミリ秒未満です。
上昇スコア 59 · いいね数 1249 · ダウンロード数 46208
理由
- 1つのテキスト内で複数の話者を切り替え可能。長文は自動で分割され、セグメント単位でのストリーミング出力に対応しているため、ラジオドラマ、オーディオブック、複数人の会話シーンに適しています。
- 「継続編集」機能:以前のバージョンを
previous_takesに指定し、修正が必要な単語だけを変更することで、連続した複数回の編集が可能です。 - SGLang-OmniおよびvLLM-Omniでの初日サポートを提供。技術レポートと異なる並列数における性能表も添付されています。
使い方
- SGLang-Omni:fishaudio用の追加依存関係をインストールした後、
sgl-omni serve --model-path fishaudio/drama-3を実行します。またはvllm serve fishaudio/drama-3 --omniを使用します。 - リクエストの
referencesに参考音声と対応するテキストを指定して音色をクローンし、テキスト内に[sighs]や[laughs]などのタグを直接記述して演技を制御します。
リスク
- Fish Audioコミュニティライセンス:研究および非商用利用は無料。年間収入が 50 万ドル未満であれば商用利用が可能。TTS/音声クローンのホスティングサービスを提供する場合は別途ライセンス契約が必要です。
- 性能データは公式がH200 GPU上で測定したものです。
- 他人の音声を使用する際は、事前に許諾を得てください。
- 本項目は実行検証されておらず、効果はモデルカードを参照してください。