Microsoft VibeVoice:オープンソースの音声認識および音声合成モデル

Microsoft がオープンソース化した音声モデルファミリー:VibeVoice-ASR は 60 分間の長尺音声を一度に処理し、話者情報とタイムスタンプを含む構造化された文字起こしを出力します。50 以上の言語とカスタムコンテキストに対応しており、Hugging Face Transformers に統合されました。9 月には ASR-Streaming がリリースされ、音声入力と同時に文字起こしが可能になりました。VibeVoice-Realtime-0.5B は、ストリーミングテキスト入力をサポートするリアルタイム音声合成モデルです。

原題:microsoft/VibeVoice

Microsoft がオープンソース化した音声モデルファミリー:VibeVoice-ASR は 60 分間の長尺音声を一度に処理し、話者情報とタイムスタンプを含む構造化された文字起こしを出力します。50 以上の言語とカスタムコンテキストに対応しており、Hugging Face Transformers に統合されました。9 月には ASR-Streaming がリリースされ、音声入力と同時に文字起こしが可能になりました。VibeVoice-Realtime-0.5B は、ストリーミングテキスト入力をサポートするリアルタイム音声合成モデルです。

スター数 55952(+223 / 24時間)

理由

  • 過去 24 時間で新たに 223 スターを獲得し、累計スター数は 55952 です。Trendshift の当日ランキングでは第 20 位です(これはあくまで注目度を示すものです)。

リスク

  • 長尺の複数話者音声合成(VibeVoice-TTS)に関するコードは、悪用が懸念されたためリポジトリから削除されました。
  • README では、合成音声がなりすましや詐欺に利用される可能性があるため、合法的な用途で使用し、AI 生成であることを明記するよう注意喚起されています。
  • README の最終更新は 9 月であり、今回のランキング入りは新しいバージョンのリリースを意味するものではありません。

開く

Trendshift(GitHub Trending 快照)

最新の AI ニュースを見る