原題:higurashi-ai/Haru-4B
Higurashi AI が公開した低遅延・多言語対応の全二重連続音声対話基盤モデル(研究用途)。各 133 ミリ秒を 1 フレームとして、モデルはユーザーの音声フレームを読み込むと同時に、自身の音声フレームとテキストを出力し、これら 3 つを言語モデルの同一位置に統合するため、聞き取りと発話が互いに待たずに進行します。音声は各フレーム 64 次元の連続ベクトルであり、小さな MLP ヘッドが MeanFlow を用いて 1 ステップでサンプリング生成します。独立した音声 Transformer も離散的な音声トークンも存在しません。言語モデルのバックボーンは Qwen3.5-4B のテキスト部分であり、エンコーダ・デコーダには VibeVoice の因果的音響トークナイザ(24kHz)を使用しています。テキストによるキャラクターカードでペルソナを設定し、短い参考録音で音色を設定します。英語、スペイン語、ポルトガル語、ドイツ語、フランス語、中国語、日本語、ロシア語、韓国語の 9 言語に対応しています。
なぜ重要か 聞き取りと発話が同一の言語モデル位置で同期して行われ、相手の発言完了を待つ必要がありません。単一のコンシューマー向け GPU で動作し、Mac にはネイティブアプリが提供されています。重みは Apache ライセンスです。
上昇スコア 136 · いいね数 149 · ダウンロード数 165
理由
- 3 つの実装が同一の重みを読み込みます:PyTorch(Web デモ含む)、Apple シリコン上の MLX 実装およびネイティブ macOS アプリ、vLLM-Omni サービスプラグイン(マルチパス並行処理、低遅延)
- 公式によれば、NVIDIA GPU では約 12GB の VRAM で Web デモを実行可能です。Python インターフェースではフレーム単位で音声を送受信でき、オフラインコマンド
haru-inferenceも利用可能です。 - コードリポジトリと技術ブログ(英語・日本語)が同時に公開されています。
使い方
git clone https://github.com/higurashi-ai/Haru,pip install -e ./haruを実行し、python -m haru.server --hf-repo higurashi-ai/Haru-4Bでサーバーを起動します。ブラウザで localhost:8998 を開き、キャラクターを選択して音色を設定すれば、そのまま対話できます。- 音色は同梱されていません:単独の人物によるクリーンな 3 秒から 3 分間の録音をアップロードまたは録音する必要があります。公式では有線イヤホンとマイクの使用を推奨しており、Bluetooth では 100 ミリ秒以上の追加遅延が発生します。
- キャラクターカードには固定フォーマットがあり、
haru.promptのrender_cardを使用して生成します。
リスク
- 事前学習された基盤モデルです:自然な会話が可能ですが、公式の説明によれば信頼できる事実情報源ではなく、アシスタントのように指示に従うわけではありません。
- 参考録音の声を模倣できますが、使用権を持つ音声のみを利用可能です。
- 現時点で公開されているベンチマーク数値はありません。モデルカードには他の全二重モデルとの比較が含まれておらず、本項目は実行されていません。