Sophon-Realtime-4B-Flash は、adventists-ai がオープンソースで公開した全二重音声対話モデルです。ユーザーが話している間も常に聞き取りを続け、声のトーンから発言が終わったかどうかを判断し、[laughter] や [sigh] などの音声タグを含む返信を作成しながら同時に発話を開始します。より軽量な音声モデルが、毎 80 ミリ秒ごとにフレーム単位で読み上げを行います。公式情報によれば、単一の 24 GB グラフィックカードで動作可能(メモリ使用量は約 21 GB)で、RTX PRO 6000 環境では最初の音声出力まで約 0.21 秒かかります。Full-Duplex-Bench v1.0 の4項目の平均スコアは 87.7 です。vLLM-Omni モデルとしてデプロイされ、/v1/realtime および /v1/chat/completions インターフェースを提供します。同シリーズには、表現力に優れた Tag 版とエンドツーエンドの E2E 版もあり、いずれも 32 GB のグラフィックカードが必要です。
なぜ重要か 同シリーズの 32B 版はより高性能なグラフィックカードが必要ですが、4B 版は割り込み、相槌、笑い声やため息などの音声タグに対応しており、ローカルでの雑談やロールプレイに適しています。ただし、知識量は大幅に劣ります。
Hugging Face のいいね数 6 · Hugging Face の上昇スコア 5 · Hugging Face のダウンロード数 31
ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:32 GB
理由
- Apache-2.0 ライセンスで、Hugging Face と ModelScope の両方からダウンロード可能。Hugging Face にはオンラインデモスペースがあります。
- モデルカードには、4B 版と 32B 版のベンチマークスコアの差、測定条件、および適用シーンが明確に記載されています。
使い方
- git clone https://github.com/adventists-ai/sophon-realtime を実行した後、flash ディレクトリに入り bash install.sh を実行します。次に hf download adventists-ai/Sophon-Realtime-4B-Flash --local-dir ./model でモデルをダウンロードし、GPU=0 PORT=8000 bash start.sh でサーバーを起動します。最後に python client_example.py --url http://127.0.0.1:8000 を使用して対話を行います。
リスク
- 公式によれば、4B 版の知識と推論能力は 32B 版より大幅に劣ります(VoiceBench スコアで 62.4 対 82.8)。事実誤認を自信満々に述べる場合があるため、回答の正確性が必要な場合は 32B 版を使用してください。
- 音声のみを処理し、視覚入力には対応していません。ゼロショット音声クローンに対応していますが、自分自身または許可を得た声のみをクローンできます。モデルカード冒頭で推奨されているホスティング API は公式の有料サービスです。