kale-tts-1-nano

kale-tts-1-nano はパラメータ数がわずか 750 万で、CPU 用の int8 ファイルは 14.8 MB、ブラウザの WebGPU 用 fp32 ファイルは 30.6 MB です。10 種類の音色は、Maya-1 が一文のテキスト記述に基づいて設計したもので、実在の人物には対応していません。まず Maya-1 で 204.7 時間の学習音声を作成し、次に Kokoro-82M をベースにファインチューニングした kale-tts-1-base から韻律計画部分を蒸留しました。発声部分は小型の調波加ノイズ生成器であり、拡散モデルやフローマッチングは使用していません。作者によると、Samsung Galaxy Tab S10 Lite の CPU 上で 44 倍リアルタイムで動作し、最初の文が 0.09 秒で出力され、認識器が判別しにくい単語の割合は Maya-1 の原声よりわずか 1.6 ポイント多いだけです。

kale-tts-1-nano はパラメータ数がわずか 750 万で、CPU 用の int8 ファイルは 14.8 MB、ブラウザの WebGPU 用 fp32 ファイルは 30.6 MB です。10 種類の音色は、Maya-1 が一文のテキスト記述に基づいて設計したもので、実在の人物には対応していません。まず Maya-1 で 204.7 時間の学習音声を作成し、次に Kokoro-82M をベースにファインチューニングした kale-tts-1-base から韻律計画部分を蒸留しました。発声部分は小型の調波加ノイズ生成器であり、拡散モデルやフローマッチングは使用していません。作者によると、Samsung Galaxy Tab S10 Lite の CPU 上で 44 倍リアルタイムで動作し、最初の文が 0.09 秒で出力され、認識器が判別しにくい単語の割合は Maya-1 の原声よりわずか 1.6 ポイント多いだけです。

なぜ重要か 子ども向けデバイスでの完全ローカル音声合成のために訓練されており、単一ファイルで一度の前向き計算により一文を出力します。学習に使用された 10 種類の音色の音声データも CC BY 4.0 で公開されています。

Hugging Face のいいね数 14 · Hugging Face の上昇スコア 14 · Hugging Face のダウンロード数 256

ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:記載なし

理由

  • Hugging Face にオンラインデモがあり、すべての音色を直接試聴できます。学習データセット kale-tts-1-data も公開されています
  • Apache-2.0 で商用利用が可能です。より良い音質を求める場合は、同シリーズでやや大きい kale-tts-1-tiny に切り替えることもできます

使い方

  • まず Hugging Face Space の KaleComputer/kale-tts-1 で試聴し、その後 kale-tts-1-nano.onnx をダウンロードして ONNX Runtime でローカルマシンで実行します(ブラウザでは fp32 ファイルを使用して WebGPU 経由で動作させます)

リスク

  • 英語のみに対応しています。ピッチは Maya-1 の原声との差が残っています(作者が示したメロディの差は 7.46 ポイントです)
  • モデルカードの冒頭に「ドラフト、未公開」という注釈が残っており、内容は変更される可能性があります。性能数値はすべて作者による自己テスト結果です

開く

抱脸 text-to-speech 上升榜

最新の AI ニュースを見る