Fish Audio Drama 3:1つのテキストで最大16キャラクターの音声合成

Fish Audioがマルチキャラクターシーンや長尺コンテンツ向けに開発した次世代テキスト音声変換(TTS)モデル。テキストのバックボーンはMoE(総パラメータ数 350 億、トークンあたりアクティブパラメータ数 30 億、フルアテンションと線形アテンションの混合構成)で、音声デコーダは 10 個のコードブックを用いて因果的にデコードします。0 から 15 までの `<|speaker:|>` タグを使用することで、1つのテキスト内で最大 16 人のキャラクターを割り当てられます。音声クローン、テキスト内への `[sighs]` や `[laughs]` などのイベントタグの挿入、さらに前回の録音テキストをコンテキストとして利用し、単語を1つだけ変更して再生成する機能にも対応しています。公式によれば、H200 GPU1枚で単一ストリームの初回音声パケット生成時間は約 89 ミリ秒、16 ストリーム並列時でも生成速度は再生速度の約 2.7 倍を維持します。

原題:fishaudio/drama-3

Fish Audioがマルチキャラクターシーンや長尺コンテンツ向けに開発した次世代テキスト音声変換(TTS)モデル。テキストのバックボーンはMoE(総パラメータ数 350 億、トークンあたりアクティブパラメータ数 30 億、フルアテンションと線形アテンションの混合構成)で、音声デコーダは 10 個のコードブックを用いて因果的にデコードします。0 から 15 までの <|speaker:|> タグを使用することで、1つのテキスト内で最大 16 人のキャラクターを割り当てられます。音声クローン、テキスト内への [sighs] や [laughs] などのイベントタグの挿入、さらに前回の録音テキストをコンテキストとして利用し、単語を1つだけ変更して再生成する機能にも対応しています。公式によれば、H200 GPU1枚で単一ストリームの初回音声パケット生成時間は約 89 ミリ秒、16 ストリーム並列時でも生成速度は再生速度の約 2.7 倍を維持します。

なぜ重要か オーディオブック、ラジオドラマ、複数人による会話の吹き込みに適しています。単語を1つ修正するだけで全体を再録音する必要がなく、単一ストリームの初回音声パケット生成時間は100ミリ秒未満です。

上昇スコア 59 · いいね数 1249 · ダウンロード数 46208

理由

  • 1つのテキスト内で複数の話者を切り替え可能。長文は自動で分割され、セグメント単位でのストリーミング出力に対応しているため、ラジオドラマ、オーディオブック、複数人の会話シーンに適しています。
  • 「継続編集」機能:以前のバージョンを previous_takes に指定し、修正が必要な単語だけを変更することで、連続した複数回の編集が可能です。
  • SGLang-OmniおよびvLLM-Omniでの初日サポートを提供。技術レポートと異なる並列数における性能表も添付されています。

使い方

  • SGLang-Omni:fishaudio用の追加依存関係をインストールした後、sgl-omni serve --model-path fishaudio/drama-3 を実行します。または vllm serve fishaudio/drama-3 --omni を使用します。
  • リクエストの references に参考音声と対応するテキストを指定して音色をクローンし、テキスト内に [sighs] や [laughs] などのタグを直接記述して演技を制御します。

リスク

  • Fish Audioコミュニティライセンス:研究および非商用利用は無料。年間収入が 50 万ドル未満であれば商用利用が可能。TTS/音声クローンのホスティングサービスを提供する場合は別途ライセンス契約が必要です。
  • 性能データは公式がH200 GPU上で測定したものです。
  • 他人の音声を使用する際は、事前に許諾を得てください。
  • 本項目は実行検証されておらず、効果はモデルカードを参照してください。

開く

Hugging Face Trending

最新の AI ニュースを見る