WaveGen:ボコーダやコーデックを用いず、テキストから直接波形を生成

現在のTTSの多くは、個別に訓練された中間表現(ニューラルオーディオコーデック、メルスペクトログラムボコーダ、VAE潜在空間)に依存しており、アライメントのために時間予測器も必要とする。WaveGenはSpectral Forcingを用いて、単一のモデル内で内部スペクトル軌跡と目標波形軌跡を同時に学習し、テキストと音声のアライメントもモデル内部で完了させるため、BERTテキスト埋め込みやWav2Vec 2.0セマンティック表現などの自己教師あり特徴量は不要である。著者はモデルを0.1Bから0.6Bへ拡張し、オープンソースのEmiliaデータのみで一段階の訓練を行った。Seed-enにおいてWER 1.47、話者類似度0.75を達成し、Emiliaで訓練されたTTSモデルの中で最高性能であると報告している。論文はNeurIPS 2026に採択された。

原題:WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning

現在のTTSの多くは、個別に訓練された中間表現(ニューラルオーディオコーデック、メルスペクトログラムボコーダ、VAE潜在空間)に依存しており、アライメントのために時間予測器も必要とする。WaveGenはSpectral Forcingを用いて、単一のモデル内で内部スペクトル軌跡と目標波形軌跡を同時に学習し、テキストと音声のアライメントもモデル内部で完了させるため、BERTテキスト埋め込みやWav2Vec 2.0セマンティック表現などの自己教師あり特徴量は不要である。著者はモデルを0.1Bから0.6Bへ拡張し、オープンソースのEmiliaデータのみで一段階の訓練を行った。Seed-enにおいてWER 1.47、話者類似度0.75を達成し、Emiliaで訓練されたTTSモデルの中で最高性能であると報告している。論文はNeurIPS 2026に採択された。

なぜ重要か ボコーダ、オーディオコーデック、時間予測器などの外部モジュールを排除し、単一モデルでの一段階訓練により音声合成パイプラインを簡素化

いいね数 14 · リポジトリのスター数 30

理由

  • リポジトリには3つのチェックポイントが公開されている:事前学習版、推奨されるV-Spec版(Seed-en WER 1.39、Seed-zh CER 1.65)、および4ステップサンプリングのWaveGen-Flash
  • 訓練、推論、評価コードとローカルGradioデモがすべて含まれており、中国語と英語の両方に対応している

使い方

  • コード:https://github.com/sh-lee-prml/WaveGen;权重:抱脸 LeeSangHoon/WaveGen(ckpts/ディレクトリに配置)
  • pip install -e . 実行後、wavegen_infer-cliコマンドで--ref_audio(参考音声)、--ref_text(そのテキスト)、--gen_textを指定して生成可能。また、python app.pyでWebデモを起動することもできる

リスク

  • コードはMITライセンスだが、チェックポイントはCC BY-NC 4.0であり、商用利用不可
  • 参考録音による音声クローンが可能だが、著者は話者の同意取得とAI生成であることの明示を求めており、リポジトリには自動的な安全フィルタリング機能はない
  • Flash版は推論コードと重みのみ公開されており、蒸留訓練手法は非公開。本項目では実行していない

開く · コード · Hugging Face論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る