原题:Edge0/Audio8-TTS-Realistic-Air
Edge0 が Audio8-TTS-Preview-0.6b をベースに継続学習した音声合成モデル。メインモデルは6.01億パラメータ(コーデックを除く)で、Fish Audio S2 Pro に着想を得た DualAR 構造を採用。スローな自己回帰 Transformer がフレームごとに1つのセマンティックトークンを予測し、ファストな自己回帰 Transformer がそのフレームの10個のコードブックを予測する。対応言語はプレビュー版の11言語から23言語に増加し、アラビア語、フィンランド語、ヒンディー語、インドネシア語、マレー語、ノルウェー語、ポルトガル語、ロシア語、スウェーデン語、タイ語、トルコ語、ベトナム語が新たに追加された。参考音声と文字起こしテキストを用いたゼロショット音色クローンが可能であり、参考音声なしでの直接合成もサポート。リポジトリには44.1kHz コーデックが含まれている。
なぜ重要か メインモデルはわずか6億パラメータで Apache ライセンスを採用し、SGLang Omni サービスへの適応と OpenAI 互換の音声インターフェースを備えているため、ローカル環境やバッチ処理による音声生成に適している
上昇スコア 52.5 · いいね 514 · ダウンロード数 18680
理由
- 公式によれば、Seed-TTS の中国語・英語平均エラー率は1.25%(プレビュー版は1.23%)で、話者類似性は0.682から0.704へ向上。CV3における9言語の平均エラー率は4.86%
- 公式はエラー率を言語ごとに個別に公表しており、平均値のみを提示していない。タイ語、フィンランド語、ベトナム語などの新言語では、CV3におけるエラー率が比較的高い
- ZeroGPU によるオンライン試用 Space が提供されている。SGLang Omni への適応により、ページングアテンション、動的バッチ処理、および /v1/audio/speech インターフェースがサポートされている
使い方
- pip で torch、transformers(4.57以上、5未満)、soundfile をインストールした後、AutoModel / AutoProcessor.from_pretrained("Edge0/Audio8-TTS-Realistic-Air", trust_remote_code=True) を実行する。音色クローンを行う際は、reference_audio と完全に一致する reference_text を渡す
- バッチサービスについては、GitHub リポジトリ Edge0-AI/Audio8_TTS の sglang_omni 手順に従い、audio8_tts_0_6b.yaml 設定ファイルを使用し、モデルパスを本リポジトリに変更する
リスク
- 言語ごとの品質に大きな差があり、広東語や一部の追加言語ではエラー率が顕著に高い。公式は誤読、繰り返し、欠落、早期停止の可能性を警告しており、最終成果物には人間の確認が必要
- 公式はこれらの指標が可読性と音色類似性のみを測定し、「リアルさ」を直接測定するものではないと説明している。他モデルとの比較は異なる評価プロトコルに基づいており、参考程度に留めるべき
- カスタムコードの実行には trust_remote_code が必要。音色クローンには許諾が必要。本項目は実行されていない