原題:Zyphra/ZONOS3-Mini
Zyphra のオープンソースのテキスト読み上げ(TTS)モデルで、総パラメータ数は 8 億、MoE 構造によりトークンあたり約 1 億のパラメータがアクティブになり、43 言語(中国語、日本語、韓国語を含む)に対応しています。参考音声(最大 60 秒)を用いて声をクローンしたり、話者ベクトルを用いてキャラクターの音色を調整したりでき、音量、帯域幅、話速を段階的に制御できます。公式によれば、感情やリズムを単語単位で制御することも可能です。出力は 44.1 kHz の音声で、1回の生成で最大 10 分まで対応します。公式によれば、H100 GPU 1枚で 8 並列処理を行った場合、最初の音声パケットの中央値遅延は 80 ミリ秒、ピークスループットは毎秒 457 秒分の音声生成です。
なぜ重要か ブラウザ内でローカルGPUを使って声をクローンでき、単語単位で感情や話速を制御可能。重みは Apache ライセンスで商用利用も可能
上昇スコア 83 · いいね 84 · ダウンロード数 856
理由
- 軽量で、公式によればスマートフォン、ノートPC、ブラウザでリアルタイムに動作可能。ブラウザ版は WebGPU を利用し、インストール不要、サーバー不要
- 実行方法が豊富:SGLang-Omni は OpenAI 互換の /v1/audio/speech インターフェースとストリーミング出力を提供し、公式には CUDA、MLX(Apple チップ)、C++/ggml、WebGPU ランタイムも用意されており、27 種類のデフォルト音色が付属
- 重みは Apache-2.0 で商用利用可能
使い方
- ブラウザで公式の Zonos Voice Studio または Lite ページを開いて直接試す(WebGPU 対応ブラウザが必要、初回アクセス時にモデルがダウンロードされます)
- サーバー側:SGLang-Omni をインストール後、sgl-omni serve --model-path Zyphra/ZONOS3-Mini を実行。リクエストに references を追加して参考音声を指定するとクローンが可能で、"stream": true を追加するとストリーミング出力になります
リスク
- 品質と速度の比較は、公式が自社開発の ZTTS2-Eval で測定したものであり、完全な評価結果は公式ブログに記載されています
- 音声クローンは悪用される可能性があるため、他者の声を使用する際は必ず許可を得てください
- 本項目は未実行であり、実際の効果はモデルカードを参照してください