nano-edge-tts は、コミュニティの作者が Kokoro-82M 向けに作成した代替デコーダーです。発音、リズム、ピッチ、および 28 種類の音色は Kokoro を引き継いでいますが、5330 万パラメータの波形デコーダーを、175 万パラメータの「パルス列+ホワイトノイズ」による調和ノイズ合成器に置き換えており、音声サンプリングレートではニューラルネットワークを実行しません。作者は Apple M4 の単一スレッド CPU で、デコーダーの速度が約 33 倍、全体のパイプラインで約 11 倍向上し、ピークメモリが 1.4–1.7 GB から 0.75 GB に減少し、Whisper の単語誤り率が 4.69%(Kokoro は 4.63%)であることを測定しました。load() はデコーダーを置き換えた Kokoro モデルを直接返すため、Kokoro を使用できる場所であればどこでも置き換えることができます。
なぜ重要か テキスト側とすべての音色は変更されず、最も時間のかかる波形デコーダーのみを置き換えるため、既存の Kokoro コードはほぼ変更せずに済み、エッジデバイスへの組み込みに適しています。
ハグ顔点赞 12 · ハグ顔上昇分 12 · ハグ顔ダウンロード 82
ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:≈1 GB 推定
理由
- Apache-2.0、Kokoro-82M と同じ;論文、240 文の評価生データ、および 6 組の同一文比較音声が付属
- デコーダー全体は Python ファイル 1 つのみで構成され、PyTorch のみに依存
使い方
- pip install kokoro==0.9.4 safetensors soundfile、hf download drmhse/nano-edge-tts --local-dir nano-edge-tts の後、そのディレクトリ内で from nano_edge_tts import load を実行し、KPipeline(lang_code='a', model=load()) で通常通り生成し、24000 サンプリングレートで保存
リスク
- Kokoro の 28 種類の米国英語および英国英語の音色でのみ訓練および評価されており、他の言語は動作する可能性があるがテストされていない;効果は Kokoro と同等以下であり、中国語には対応していない
- 一部の有声子音にわずかな機械的な音がある;ブラインドテストは作者のみで行われ、速度はノートパソコンの CPU で測定されており、スマートフォンではテストされていない