Inflect Mini v3:CPUで動作する小型の英語音声合成モデル

Owen Songが11月10日に公開した英語音声合成モデルv3。モデルカードによると、コアパラメータは34.31M(FP32重みで138.4 MB)、ネイティブ出力は24 kHzで、オプションの2.85Mパラメータのエンハンサーを使用すると48 kHzで出力可能。cassidy、mark、hope、james、sophia、jasperの6種類のボイスを内蔵し、[laugh]、[sigh]、[gasp]など8種類の音声イベントタグに対応。Voice Tunerを使用すれば、5~15秒の許諾済み録音から再利用可能なボイスポリフィルを作成できる。リポジトリは完全な推論パッケージであり、Apache-2.0ライセンスで提供されている。

原題:owensong/Inflect-Mini-v3

Owen Songが11月10日に公開した英語音声合成モデルv3。モデルカードによると、コアパラメータは34.31M(FP32重みで138.4 MB)、ネイティブ出力は24 kHzで、オプションの2.85Mパラメータのエンハンサーを使用すると48 kHzで出力可能。cassidy、mark、hope、james、sophia、jasperの6種類のボイスを内蔵し、[laugh]、[sigh]、[gasp]など8種類の音声イベントタグに対応。Voice Tunerを使用すれば、5~15秒の許諾済み録音から再利用可能なボイスポリフィルを作成できる。リポジトリは完全な推論パッケージであり、Apache-2.0ライセンスで提供されている。

なぜ重要か 軽量であり、Apacheライセンスにより商用利用が可能。CPUでもローカル生成が可能なため、ナレーション、操作ガイダンス、オフライン読み上げに適している。

上昇スコア 42 · いいね 42 · ダウンロード数 590

理由

  • 著者による独自評価:6つの音色における平均語彙誤り率 0.739%(各音色につき 1,688 件のテキスト)、UTMOS22Strong 4.479;著者はこれが公式ランキングへの提出ではなく、Kokoro などのランキング数値と直接比較できないことを明記
  • 著者によると、RTX 5090 では最適化された CUDA パスを使用することで約 162 倍のリアルタイム速度を達成し、Ryzen 9 3900X では 2 スレッドを使用することで約 1.81 倍のリアルタイム速度を達成
  • 同シリーズには 11.79M の Micro v3 と 157.19K の Atom v3 も存在する;GitHub では Mini を他の言語に適用するためのトレーニングツールキットも提供されている

使い方

  • Python 3.12の新規環境:hf download owensong/Inflect-Mini-v3でリポジトリ全体をダウンロードし、verify_release.pyを実行して検証、core/requirements-cpu.txtをインストール後、python run.py speech --voice cassidy --text "..." --output out.wavを実行。
  • 音声イベント:extras/eventsの依存関係をインストール後、python run.py events --voice cassidy --text "... \[laugh\] ..."を実行(CPU、24 kHzでのみ利用可能)。48 kHzが必要な場合は--profile enhancedを指定。
  • GPU:別の環境を作成しcore/requirements-cuda.txtをインストール後、--device cuda --runtime cuda-sourceを追加。オンラインデモはowensong/Inflect-v3 Spaceで確認可能。

リスク

  • 英語のみ対応。イベントタグは前後の文の感情を変化させず、ささやきや怒りなどのスタイル制御機能もない。
  • Voice TunerはLinux CPUでの登録のみ対応。再現性は録音に依存し、作者は元の声を完全に再現できる保証はないと述べている。許諾済みの音声のみ使用可能。
  • 単語誤り率と音声品質スコアはすべて作者による独自評価であり、評価コーパスは開発時に使用されたもの。エンハンサーは一部の素材でわずかなハムノイズが発生する可能性がある。本項目は未実行。

開く

Hugging Face Trending

最新の AI ニュースを見る