原題:adventists-ai/Sophon-Realtime-v1
Adventists AI の全二重音声対話モデルファミリーのメインページ。3つのバージョンは、音声の聞き取り、ターン判定、返信生成を担う同一の 32B モデルを共有しており、違いは音声出力の方法のみです。Tag(推奨)では、モデルが音声マーカー付きの返信を生成し、表現力豊かな音声モデルが笑い、ため息、咳払いなどを演出します。Flash はより軽快な音声モデルに置き換えられており、公式によれば単一ユーザーでの初回音声パケットの遅延は 0.31 秒です。E2E はエンドツーエンドの研究プレビューです。公式によれば、VoiceBench で 82.8、Big Bench Audio で 81.8% を記録し、オープンソースの全二重モデルの中で第1位を占めています。割り込みや相槌に対応しており、さらに OpenAI GPT-Live プロトコルと互換性のあるゲートウェイを備え、クエリや操作をバックエンドの大規模モデルに委任できます。
なぜ重要か オープンソースのリアルタイム音声対話において、話者のトーンを聞き分け、笑い声やため息で応答できるものは珍しく、単一GPUでのデプロイが可能で商用利用もできる
上昇スコア 63 · いいね 65 · ダウンロード数 0
理由
- ためらい、強調、皮肉、笑い声などのトーン情報を聞き分け、それに応じたトーンで回答できる
- Tag および Flash バージョンは、公式によれば単一の 80 GB GPU で、vLLM-Omni を用いて1コマンドでサービスを開始できる
- コードと重みは Apache-2.0 ライセンスで商用利用が可能。LoRA を用いてペルソナ、トーン、ドメイン知識をファインチューニングできる
使い方
- pip install sophon-realtime を実行後、sophon-realtime serve を起動(初回は約 42 GB の Tag 重みがダウンロードされます)
- 試聴のみを希望する場合は ModelScope の創空間でオンライン対話が可能。デプロイ用の重みは Sophon-Realtime-32B-Tag / Flash の2つのリポジトリにあります
リスク
- 本リポジトリはファミリーのメインページであり、デプロイには Tag または Flash リポジトリの重みが必要で、ファインチューニング用のベースモデルは ModelScope にあります
- 評価の多くは公式による自己実施であり、大規模モデルによる採点が行われています
- 本項目は未実行であり、効果はモデルカードを参照してください