Audio8-TTS-Realistic-Air:小パラメータ多言語音声合成

Edge0 が Audio8-TTS-Preview-0.6b をベースに継続学習した音声合成モデル。メインモデルは6.01億パラメータ(コーデックを除く)で、Fish Audio S2 Pro に着想を得た DualAR 構造を採用。スローな自己回帰 Transformer がフレームごとに1つのセマンティックトークンを予測し、ファストな自己回帰 Transformer がそのフレームの10個のコードブックを予測する。対応言語はプレビュー版の11言語から23言語に増加し、アラビア語、フィンランド語、ヒンディー語、インドネシア語、マレー語、ノルウェー語、ポルトガル語、ロシア語、スウェーデン語、タイ語、トルコ語、ベトナム語が新たに追加された。参考音声と文字起こしテキストを用いたゼロショット音色クローンが可能であり、参考音声なしでの直接合成もサポート。リポジトリには44.1kHz コーデックが含まれている。

原题:Edge0/Audio8-TTS-Realistic-Air

Edge0 が Audio8-TTS-Preview-0.6b をベースに継続学習した音声合成モデル。メインモデルは6.01億パラメータ(コーデックを除く)で、Fish Audio S2 Pro に着想を得た DualAR 構造を採用。スローな自己回帰 Transformer がフレームごとに1つのセマンティックトークンを予測し、ファストな自己回帰 Transformer がそのフレームの10個のコードブックを予測する。対応言語はプレビュー版の11言語から23言語に増加し、アラビア語、フィンランド語、ヒンディー語、インドネシア語、マレー語、ノルウェー語、ポルトガル語、ロシア語、スウェーデン語、タイ語、トルコ語、ベトナム語が新たに追加された。参考音声と文字起こしテキストを用いたゼロショット音色クローンが可能であり、参考音声なしでの直接合成もサポート。リポジトリには44.1kHz コーデックが含まれている。

なぜ重要か メインモデルはわずか6億パラメータで Apache ライセンスを採用し、SGLang Omni サービスへの適応と OpenAI 互換の音声インターフェースを備えているため、ローカル環境やバッチ処理による音声生成に適している

上昇スコア 52.5 · いいね 514 · ダウンロード数 18680

理由

  • 公式によれば、Seed-TTS の中国語・英語平均エラー率は1.25%(プレビュー版は1.23%)で、話者類似性は0.682から0.704へ向上。CV3における9言語の平均エラー率は4.86%
  • 公式はエラー率を言語ごとに個別に公表しており、平均値のみを提示していない。タイ語、フィンランド語、ベトナム語などの新言語では、CV3におけるエラー率が比較的高い
  • ZeroGPU によるオンライン試用 Space が提供されている。SGLang Omni への適応により、ページングアテンション、動的バッチ処理、および /v1/audio/speech インターフェースがサポートされている

使い方

  • pip で torch、transformers(4.57以上、5未満)、soundfile をインストールした後、AutoModel / AutoProcessor.from_pretrained("Edge0/Audio8-TTS-Realistic-Air", trust_remote_code=True) を実行する。音色クローンを行う際は、reference_audio と完全に一致する reference_text を渡す
  • バッチサービスについては、GitHub リポジトリ Edge0-AI/Audio8_TTS の sglang_omni 手順に従い、audio8_tts_0_6b.yaml 設定ファイルを使用し、モデルパスを本リポジトリに変更する

リスク

  • 言語ごとの品質に大きな差があり、広東語や一部の追加言語ではエラー率が顕著に高い。公式は誤読、繰り返し、欠落、早期停止の可能性を警告しており、最終成果物には人間の確認が必要
  • 公式はこれらの指標が可読性と音色類似性のみを測定し、「リアルさ」を直接測定するものではないと説明している。他モデルとの比較は異なる評価プロトコルに基づいており、参考程度に留めるべき
  • カスタムコードの実行には trust_remote_code が必要。音色クローンには許諾が必要。本項目は実行されていない

開く

Hugging Face Trending

最新の AI ニュースを見る