Sophon-Realtime v1:話者のトーンを聞き分け、笑い声やため息も生成できる全二重音声モデル

Adventists AI の全二重音声対話モデルファミリーのメインページ。3つのバージョンは、音声の聞き取り、ターン判定、返信生成を担う同一の 32B モデルを共有しており、違いは音声出力の方法のみです。Tag(推奨)では、モデルが音声マーカー付きの返信を生成し、表現力豊かな音声モデルが笑い、ため息、咳払いなどを演出します。Flash はより軽快な音声モデルに置き換えられており、公式によれば単一ユーザーでの初回音声パケットの遅延は 0.31 秒です。E2E はエンドツーエンドの研究プレビューです。公式によれば、VoiceBench で 82.8、Big Bench Audio で 81.8% を記録し、オープンソースの全二重モデルの中で第1位を占めています。割り込みや相槌に対応しており、さらに OpenAI GPT-Live プロトコルと互換性のあるゲートウェイを備え、クエリや操作をバックエンドの大規模モデルに委任できます。

原題:adventists-ai/Sophon-Realtime-v1

Adventists AI の全二重音声対話モデルファミリーのメインページ。3つのバージョンは、音声の聞き取り、ターン判定、返信生成を担う同一の 32B モデルを共有しており、違いは音声出力の方法のみです。Tag(推奨)では、モデルが音声マーカー付きの返信を生成し、表現力豊かな音声モデルが笑い、ため息、咳払いなどを演出します。Flash はより軽快な音声モデルに置き換えられており、公式によれば単一ユーザーでの初回音声パケットの遅延は 0.31 秒です。E2E はエンドツーエンドの研究プレビューです。公式によれば、VoiceBench で 82.8、Big Bench Audio で 81.8% を記録し、オープンソースの全二重モデルの中で第1位を占めています。割り込みや相槌に対応しており、さらに OpenAI GPT-Live プロトコルと互換性のあるゲートウェイを備え、クエリや操作をバックエンドの大規模モデルに委任できます。

なぜ重要か オープンソースのリアルタイム音声対話において、話者のトーンを聞き分け、笑い声やため息で応答できるものは珍しく、単一GPUでのデプロイが可能で商用利用もできる

上昇スコア 63 · いいね 65 · ダウンロード数 0

理由

  • ためらい、強調、皮肉、笑い声などのトーン情報を聞き分け、それに応じたトーンで回答できる
  • Tag および Flash バージョンは、公式によれば単一の 80 GB GPU で、vLLM-Omni を用いて1コマンドでサービスを開始できる
  • コードと重みは Apache-2.0 ライセンスで商用利用が可能。LoRA を用いてペルソナ、トーン、ドメイン知識をファインチューニングできる

使い方

  • pip install sophon-realtime を実行後、sophon-realtime serve を起動(初回は約 42 GB の Tag 重みがダウンロードされます)
  • 試聴のみを希望する場合は ModelScope の創空間でオンライン対話が可能。デプロイ用の重みは Sophon-Realtime-32B-Tag / Flash の2つのリポジトリにあります

リスク

  • 本リポジトリはファミリーのメインページであり、デプロイには Tag または Flash リポジトリの重みが必要で、ファインチューニング用のベースモデルは ModelScope にあります
  • 評価の多くは公式による自己実施であり、大規模モデルによる採点が行われています
  • 本項目は未実行であり、効果はモデルカードを参照してください

開く

Hugging Face Trending

最新の AI ニュースを見る