VoxMel:音素分割器を用いない自己回帰型音声合成

連続的な自己回帰型音声合成では、通常、圧縮された音響表現(VAE潜在変数など)を最初に学習しますが、エンコーダーが忠実度を制限してしまいます。一方、メルスペクトログラムを直接使用する場合、エンコーダーは不要ですが、安定した自己回帰モデリングが困難です。VoxMelは、固定され正確に復元可能な2軸Haar変換を用いてメルスペクトログラムを分割します。まず周波数方向に沿って局所平均と周波数残差に分割し、次に時間方向に沿って粗粒度メル(Coarse-Mel)と時間残差を取り出します。言語モデルのバックボーンとフローマッチングヘッドは粗粒度部分のみを自己回帰的に生成し、2つの非自己回帰層が順次時間残差と周波数残差を補完しますが、残差は自己回帰履歴にはフィードバックされません。著者によると、100K時間のEmiliaデータセットで訓練された0.6Bパラメータモデルの英語WERは1.51%、中国語CERは1.29%であり、GRPO適用後はそれぞれ1.15%と1.17%に改善されました。また、フローマッチングヘッドから2ステップおよび4ステップの蒸留版も導出されています。

原題:VoxMel TTS Technical Report

連続的な自己回帰型音声合成では、通常、圧縮された音響表現(VAE潜在変数など)を最初に学習しますが、エンコーダーが忠実度を制限してしまいます。一方、メルスペクトログラムを直接使用する場合、エンコーダーは不要ですが、安定した自己回帰モデリングが困難です。VoxMelは、固定され正確に復元可能な2軸Haar変換を用いてメルスペクトログラムを分割します。まず周波数方向に沿って局所平均と周波数残差に分割し、次に時間方向に沿って粗粒度メル(Coarse-Mel)と時間残差を取り出します。言語モデルのバックボーンとフローマッチングヘッドは粗粒度部分のみを自己回帰的に生成し、2つの非自己回帰層が順次時間残差と周波数残差を補完しますが、残差は自己回帰履歴にはフィードバックされません。著者によると、100K時間のEmiliaデータセットで訓練された0.6Bパラメータモデルの英語WERは1.51%、中国語CERは1.29%であり、GRPO適用後はそれぞれ1.15%と1.17%に改善されました。また、フローマッチングヘッドから2ステップおよび4ステップの蒸留版も導出されています。

なぜ重要か 小規模パラメータモデルによる中英ゼロショット音声クローンにおいて、著者は英語単語誤り率がより大きな複数のモデルを下回ると報告しています。コードと重みはApacheライセンスでオープンソースとして公開されています

いいね 22 · コードスター数 92

理由

  • VoxMel-0.6B および VoxMel-0.3B の2つの重みが公開されており、GRPO後の学習が行われたのは0.6Bのみです
  • 音素分割器の訓練が不要で、テキスト側ではQwen2.5トークナイザーを直接使用し、最終的に24kHzのVocosボコーダーで音声出力を行います
  • Pythonインターフェース、voxmelコマンドラインツール、Gradioウェブデモを提供しており、テキストガイドと音色ガイドの強度を個別に調整できます

使い方

  • コード:https://github.com/VoxDance-Lab/VoxMel(Apache-2.0);权重在抱脸 VoxDance-Lab/VoxMel-0.6B。Vocosボコーダーの重みは別途準備が必要です
  • pip install -e . 実行後、voxmel --model <重みディレクトリ> --vocos-path <Vocosディレクトリ> --prompt-audio reference.wav --prompt-text "参考音声のテキスト" --text "合成したい文" で生成します。deviceをautoに設定すると、CUDA、MPS、CPUの間で自動的に選択されます

リスク

  • 音声クローンには参考音声の正確な文字起こしが必要です。他人の声を模倣する際は本人の同意を得てください
  • 論文に記載されている2ステップおよび4ステップの蒸留版はREADMEにダウンロードリンクが記載されていません。MPS上での演算子サポートと速度については、著者も検証中としています
  • 性能指標は著者による報告値です。本記事では実行検証を行っていません

開く · コード · Hugging Face論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る