Cilla Mini は、コミュニティの作者 mehdi-hf が Kyutai の Pocket TTS を基盤として訓練したペルシア語音声合成モデルです。生成時には 1820 万パラメータを使用し、24 kHz のモノラル音声を出力します。声は 3~10 秒の参考音声からクローンされます。作者によると、クラウドサーバーの単一スレッド CPU ではリアルタイムの約 3.79 倍、M1 Pro では Rust で書かれた Phonon ランタイムを用いてリアルタイムの約 12~23 倍の速度で動作します。Hugging Face のデモスペースでは WebAssembly を使用してブラウザ内で直接実行され、テキストはアップロードされません。同シリーズの 1 億パラメータを持つ Cilla Lite は CPU 向けであり、作者によれば単語誤り率がより低い(6.7% 対 10.4%)とされています。
なぜ重要か オープンソースのペルシア語音声合成は非常に少ないです。このモデルは小さく、ウェブブラウザ内でオフラインで動作可能であり、テキストがデバイス外に出ないため、スクリーンリーダーやオフラインアシスタントに適していますが、非商用利用のみ許可されています。
Hugging Face のいいね数 22 · Hugging Face の上昇スコア 21 · Hugging Face のダウンロード数 0
ライセンス:非商用 · ComfyUI:未対応 · VRAM:約 1 GB(推定)
理由
- ブラウザでのオンラインデモ、Mac 用実行スクリプト、JavaScript ライブラリが提供されている
- モデルカードに評価方法、テスト条件、制限事項が明確に記載されている
使い方
- Hugging Face のページでアクセスを申請しログインした後、
pip install "pocket-tts\>=4.0.1"を実行し、hf download mehdi-hf/cilla-mini --exclude "model.safetensors" "phonon/\*" --local-dir cilla-miniでダウンロードします。ディレクトリに入り、python speak\_fa.py --voice prompts/parisa.wav --text "ペルシア語テキスト" --out hello.wavを実行してください。また、デモスペースmehdi-hf/cilla-mini-demoを直接開くことも可能です。
リスク
- CC BY-NC 4.0 ライセンスであり、非商用利用のみです。ペルシア語のみに対応しており、ラテン文字の単語や絵文字は削除されます。中国語には対応していません。
- 長いテキストは文ごとに合成する必要があります。さもないと繰り返しや欠落が発生する可能性があります。音声クローンを作成する際は本人の同意を得ており、生成された音声は合成音声であることを明示すべきです。