zerre-tts

zerre-tts は、コミュニティの作者がゼロから訓練したトルコ語音声合成モデルです。パラメータ数は約 450 万で、男性と女性の2つの音色を提供し、出力は 24 kHz です。int8 ONNX バージョンは 8.5 MB で、WebAssembly を使用してブラウザ内で実行できるほか、ONNX Runtime や PyTorch でも利用可能です。訓練データには、公開されている2つのトルコ語オーディオブックコーパス(約 11.9 時間分を保持)が使用され、L4 GPU 1枚で約 6.5 時間訓練されました。作者によると、20 件のホールドアウト断片での単語誤り率は 1.3%、8 件の新規文での誤り率は 12.7% です。

zerre-tts は、コミュニティの作者がゼロから訓練したトルコ語音声合成モデルです。パラメータ数は約 450 万で、男性と女性の2つの音色を提供し、出力は 24 kHz です。int8 ONNX バージョンは 8.5 MB で、WebAssembly を使用してブラウザ内で実行できるほか、ONNX Runtime や PyTorch でも利用可能です。訓練データには、公開されている2つのトルコ語オーディオブックコーパス(約 11.9 時間分を保持)が使用され、L4 GPU 1枚で約 6.5 時間訓練されました。作者によると、20 件のホールドアウト断片での単語誤り率は 1.3%、8 件の新規文での誤り率は 12.7% です。

なぜ重要か 作者によれば、同種のトルコ語オープンソースモデルよりも小型であり、商用利用も可能です。アーキテクチャは tiny-voca を改変したもので、Web ページへの直接組み込みに適しています。

🤗 いいね 3 · 🤗 上昇スコア 2 · 🤗 ダウンロード数 0

ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:記載なし

理由

  • Apache-2.0 ライセンスで商用利用が可能。オンラインのWebデモがあり、コードと訓練手法は GitHub で公開されています。

使い方

  • まず作者のWebデモで試してください。ローカルで github.com/erkinemreta1/zerre-tts をクローンした後、python -m zerre.infer --checkpoint inference.pt --lang tr --text "Merhaba dünya." --voice MK --output hello.wav を実行します。

リスク

  • 評価セットが非常に小さい(20 件の断片、8 件の文)ため、作者自身も粗いチェックとしてのみ扱うべきだと述べています。また、他のモデルとの比較には同じテストセットが使用されていません。
  • 固定された2つの音色のみで、音声クローンやストリーミングには対応していません。読み上げ調が強く、疑問や感嘆の表現には限界があります。外国人名や略語の読み間違いが多く、発音記号の処理には別途 eSpeak NG のインストールが必要です。

開く

抱脸 text-to-speech 新模型

最新の AI ニュースを見る