tiny-voca:CPUだけで動作する英語用小型音声合成モデル

n4ze3mが11月14日にアップロードした英語TTSモデル。作者によれば、波形生成部分を含めて合計4,537,291パラメータで、出力は24 kHzのモノラル音声。F2(女性声)とM2(男性声)の2種類のアメリカ英語ボイスを提供。ニューラルボコーダーの代わりにソース・フィルタ合成器を採用し、訓練データは約17.6時間で、すべてQwen3-TTSによって合成されたもので、人間の録音は含まれていない。PyTorchの重みと、onnxruntime-webで実行可能なONNXバージョンを提供している。

原題:n4ze3m/tiny-voca

n4ze3mが11月14日にアップロードした英語TTSモデル。作者によれば、波形生成部分を含めて合計4,537,291パラメータで、出力は24 kHzのモノラル音声。F2(女性声)とM2(男性声)の2種類のアメリカ英語ボイスを提供。ニューラルボコーダーの代わりにソース・フィルタ合成器を採用し、訓練データは約17.6時間で、すべてQwen3-TTSによって合成されたもので、人間の録音は含まれていない。PyTorchの重みと、onnxruntime-webで実行可能なONNXバージョンを提供している。

なぜ重要か モデル全体でパラメータ数は約400万〜500万程度と非常に小さく、GPUを必要としないため、オフラインアプリ、Web、または組み込みデバイスへの英語読み上げ機能の追加に適している

上昇スコア 77 · いいね 77 · ダウンロード数 40

理由

  • 作者によれば、4 CPUスレッドでリアルタイム速度の約70倍で動作し、モデルカードにはスマートフォンやブラウザでの実行が可能と記載されている
  • データセット、訓練コード、音素変換ツール「dizione」がすべて公開されており、作者によればプロジェクト全体でレンタルしたRTX 4090上で9.56ドルのコストがかかった
  • モデルカードには4件のサンプル音声(2種類のボイスそれぞれ)、完全なパラメータ表、および制限事項の説明が記載されている

使い方

  • pip install git+https://github.com/n4ze3m/dizione git+https://github.com/n4ze3m/tiny-voca,下载模型后设 DIZIONE_DATA=tiny-voca/phonemizer を実行後、python -m tiny_voca.infer --checkpoint tiny-voca/tiny-voca.pt --voice F2 --text "…" --output hello.wav を使用
  • --speed(話速)、--pitch-shift(0.058 および半音程度)、--pitch-range を調整可能。長いテキストは文単位で分割して結合される
  • ONNXバージョンでは、1回あたり最大512音素、32秒まで処理可能で、事前にdizioneで音素変換が必要。出力が1.0を超えることがあり、16ビット音声として保存する前にモデルカードの例に従ってスケーリングを行う

リスク

  • 英語のみ対応、固定の2種類のボイスのみで、ボイスクローンやストリーミングには非対応。同じ文は毎回同じ読み方になり、外国人の名前や稀な綴りは誤読されることが多い
  • 作者によれば音声は明瞭だがわずかに合成音声らしさがあり、F2は設計意図より若く聞こえる。訓練データ自体が合成音声であるため、自然度は生成元のQwen3-TTSを超えることはない
  • 評価は8〜16件の文に対するWhisperの認識エラー率のみで、作者は自己チェックであり正式な聴覚テストは行っていないと説明している。本項目では実行も試聴もしていない

開く

Hugging Face Trending

最新の AI ニュースを見る