Sophon-Realtime v1 更新:E2E 版が単一GPUの正式版に変更されました。

Adventists AI(AI降臨派)のオープンソース全二重音声モデルファミリーは、11-10 に収録済みです。3つのバージョンは、聞き取り、ターン判定、返信作成を担当する同じ 32B の「脳」を共有しており、違いは返信をどのように音声に変換するかという点のみです:Tag は表現力の高い音声モデルを使用し、Flash はより高速で単一GPUあたりの同時接続数が多く、E2E は約 3.5 億パラメータのスピークヘッドを用いて連続的な音声ベクトルを直接生成します。11-10 以降の進展:11-11 にて E2E 版(1.1.3)がプレビューから正式版に移行し、2枚のGPUから1枚の 80GB GPUへ要件が緩和されました;11-12(1.1.4)にて E2E も vLLM-Omni モデルとしてデプロイ可能になり、コマンドおよびインターフェースは Tag や Flash と同一です;11-13(1.2.0)にて長い返信が約 2 分で切り詰められなくなりました;11-14(1.3.0)にて E2E がゼロショット音色クローニングに対応し、5~12 秒の録音を提供するだけで利用可能となり、重みは変更されていません。

原題:adventists-ai/Sophon-Realtime-v1

Adventists AI(AI降臨派)のオープンソース全二重音声モデルファミリーは、11-10 に収録済みです。3つのバージョンは、聞き取り、ターン判定、返信作成を担当する同じ 32B の「脳」を共有しており、違いは返信をどのように音声に変換するかという点のみです:Tag は表現力の高い音声モデルを使用し、Flash はより高速で単一GPUあたりの同時接続数が多く、E2E は約 3.5 億パラメータのスピークヘッドを用いて連続的な音声ベクトルを直接生成します。11-10 以降の進展:11-11 にて E2E 版(1.1.3)がプレビューから正式版に移行し、2枚のGPUから1枚の 80GB GPUへ要件が緩和されました;11-12(1.1.4)にて E2E も vLLM-Omni モデルとしてデプロイ可能になり、コマンドおよびインターフェースは Tag や Flash と同一です;11-13(1.2.0)にて長い返信が約 2 分で切り詰められなくなりました;11-14(1.3.0)にて E2E がゼロショット音色クローニングに対応し、5~12 秒の録音を提供するだけで利用可能となり、重みは変更されていません。

なぜ重要か 前回の収録以降に連続的な更新が行われました:E2E 版は Tag や Flash と同じインターフェースセットでデプロイでき、長い返信も最後まで完了し、さらに無料試用のマネージドインターフェースが提供されています

上昇スコア 158 · いいね数 210 · ダウンロード数 0

理由

  • 公式によれば、3バージョンで共有される脳は VoiceBench で 82.8、Big Bench Audio で 81.8% を記録し、オープンソースの全二重モデルの中でいずれも第1位です;E2E の単一ストリームでの初回パケット遅延は約 0.25 秒で、単一GPUあたりの推奨同時接続数は 16 ストリームです
  • 公式は E2E の非言語音声評価結果を公開しています:NVV-SuperBench において中国語で 0.85、英語で 0.75(笑い、咳、ため息、呼吸の4種類合計)
  • ホームページにマネージドインターフェースが追加され、登録すると音声対話が 3 時間分無料で提供されます。OpenAI Realtime プロトコルと互換性があり、GPUがなくても試すことができます

使い方

  • E2E の vLLM-Omni 方式:git clone で https://github.com/adventists-ai/sophon-realtime,进 e2e/ ディレクトリを取得し、bash install.sh を実行します(約 41GB)。その後、GPU=0 PORT=8000 bash start.sh を実行すると、インターフェースとして /v1/realtime と /v1/chat/completions が利用可能です
  • 表現力を優先する場合は Tag を、単一GPUでの同時接続数を重視する場合は Flash を選択してください(pip install "sophon-realtime[trt]" の後に sophon-realtime serve を実行)。Live モードは OpenAI GPT-Live プロトコルと互換性があり、クエリや操作をより大きなバックエンドモデルに委譲できます

リスク

  • H100 クラスの 80GB GPU が必要です(E2E の実際のメモリ使用量は約 70GB)。公式によれば、RTX PRO 6000 では E2E は約 4~8 ストリームの同時接続にしか対応できません
  • E2E 版は中国語と英語の2言語のみをサポートしています。評価結果は公式による自己申告であり、一部の比較スコアは第三者のランキングから引用されています
  • ゼロショット音色クローニングにはコード 1.3.0 以上が必要で、vLLM-Omni 方式でのみ利用可能です;本項目では実行されていません

開く

Hugging Face Trending

最新の AI ニュースを見る