ZONOS3-Mini:スマートフォンとブラウザでリアルタイムに動作する多言語音声クローン

Zyphra のオープンソースのテキスト読み上げ(TTS)モデルで、総パラメータ数は 8 億、MoE 構造によりトークンあたり約 1 億のパラメータがアクティブになり、43 言語(中国語、日本語、韓国語を含む)に対応しています。参考音声(最大 60 秒)を用いて声をクローンしたり、話者ベクトルを用いてキャラクターの音色を調整したりでき、音量、帯域幅、話速を段階的に制御できます。公式によれば、感情やリズムを単語単位で制御することも可能です。出力は 44.1 kHz の音声で、1回の生成で最大 10 分まで対応します。公式によれば、H100 GPU 1枚で 8 並列処理を行った場合、最初の音声パケットの中央値遅延は 80 ミリ秒、ピークスループットは毎秒 457 秒分の音声生成です。

原題:Zyphra/ZONOS3-Mini

Zyphra のオープンソースのテキスト読み上げ(TTS)モデルで、総パラメータ数は 8 億、MoE 構造によりトークンあたり約 1 億のパラメータがアクティブになり、43 言語(中国語、日本語、韓国語を含む)に対応しています。参考音声(最大 60 秒)を用いて声をクローンしたり、話者ベクトルを用いてキャラクターの音色を調整したりでき、音量、帯域幅、話速を段階的に制御できます。公式によれば、感情やリズムを単語単位で制御することも可能です。出力は 44.1 kHz の音声で、1回の生成で最大 10 分まで対応します。公式によれば、H100 GPU 1枚で 8 並列処理を行った場合、最初の音声パケットの中央値遅延は 80 ミリ秒、ピークスループットは毎秒 457 秒分の音声生成です。

なぜ重要か ブラウザ内でローカルGPUを使って声をクローンでき、単語単位で感情や話速を制御可能。重みは Apache ライセンスで商用利用も可能

上昇スコア 83 · いいね 84 · ダウンロード数 856

理由

  • 軽量で、公式によればスマートフォン、ノートPC、ブラウザでリアルタイムに動作可能。ブラウザ版は WebGPU を利用し、インストール不要、サーバー不要
  • 実行方法が豊富:SGLang-Omni は OpenAI 互換の /v1/audio/speech インターフェースとストリーミング出力を提供し、公式には CUDA、MLX(Apple チップ)、C++/ggml、WebGPU ランタイムも用意されており、27 種類のデフォルト音色が付属
  • 重みは Apache-2.0 で商用利用可能

使い方

  • ブラウザで公式の Zonos Voice Studio または Lite ページを開いて直接試す(WebGPU 対応ブラウザが必要、初回アクセス時にモデルがダウンロードされます)
  • サーバー側:SGLang-Omni をインストール後、sgl-omni serve --model-path Zyphra/ZONOS3-Mini を実行。リクエストに references を追加して参考音声を指定するとクローンが可能で、"stream": true を追加するとストリーミング出力になります

リスク

  • 品質と速度の比較は、公式が自社開発の ZTTS2-Eval で測定したものであり、完全な評価結果は公式ブログに記載されています
  • 音声クローンは悪用される可能性があるため、他者の声を使用する際は必ず許可を得てください
  • 本項目は未実行であり、実際の効果はモデルカードを参照してください

開く

Hugging Face Trending

最新の AI ニュースを見る