Haru-4B:聞きながら話す全二重音声対話モデル

Higurashi AI が公開した低遅延・多言語対応の全二重連続音声対話基盤モデル(研究用途)。各 133 ミリ秒を 1 フレームとして、モデルはユーザーの音声フレームを読み込むと同時に、自身の音声フレームとテキストを出力し、これら 3 つを言語モデルの同一位置に統合するため、聞き取りと発話が互いに待たずに進行します。音声は各フレーム 64 次元の連続ベクトルであり、小さな MLP ヘッドが MeanFlow を用いて 1 ステップでサンプリング生成します。独立した音声 Transformer も離散的な音声トークンも存在しません。言語モデルのバックボーンは Qwen3.5-4B のテキスト部分であり、エンコーダ・デコーダには VibeVoice の因果的音響トークナイザ(24kHz)を使用しています。テキストによるキャラクターカードでペルソナを設定し、短い参考録音で音色を設定します。英語、スペイン語、ポルトガル語、ドイツ語、フランス語、中国語、日本語、ロシア語、韓国語の 9 言語に対応しています。

原題:higurashi-ai/Haru-4B

Higurashi AI が公開した低遅延・多言語対応の全二重連続音声対話基盤モデル(研究用途)。各 133 ミリ秒を 1 フレームとして、モデルはユーザーの音声フレームを読み込むと同時に、自身の音声フレームとテキストを出力し、これら 3 つを言語モデルの同一位置に統合するため、聞き取りと発話が互いに待たずに進行します。音声は各フレーム 64 次元の連続ベクトルであり、小さな MLP ヘッドが MeanFlow を用いて 1 ステップでサンプリング生成します。独立した音声 Transformer も離散的な音声トークンも存在しません。言語モデルのバックボーンは Qwen3.5-4B のテキスト部分であり、エンコーダ・デコーダには VibeVoice の因果的音響トークナイザ(24kHz)を使用しています。テキストによるキャラクターカードでペルソナを設定し、短い参考録音で音色を設定します。英語、スペイン語、ポルトガル語、ドイツ語、フランス語、中国語、日本語、ロシア語、韓国語の 9 言語に対応しています。

なぜ重要か 聞き取りと発話が同一の言語モデル位置で同期して行われ、相手の発言完了を待つ必要がありません。単一のコンシューマー向け GPU で動作し、Mac にはネイティブアプリが提供されています。重みは Apache ライセンスです。

上昇スコア 136 · いいね数 149 · ダウンロード数 165

理由

  • 3 つの実装が同一の重みを読み込みます:PyTorch(Web デモ含む)、Apple シリコン上の MLX 実装およびネイティブ macOS アプリ、vLLM-Omni サービスプラグイン(マルチパス並行処理、低遅延)
  • 公式によれば、NVIDIA GPU では約 12GB の VRAM で Web デモを実行可能です。Python インターフェースではフレーム単位で音声を送受信でき、オフラインコマンド haru-inference も利用可能です。
  • コードリポジトリと技術ブログ(英語・日本語)が同時に公開されています。

使い方

  • git clone https://github.com/higurashi-ai/Haru,pip install -e ./haru を実行し、python -m haru.server --hf-repo higurashi-ai/Haru-4B でサーバーを起動します。ブラウザで localhost:8998 を開き、キャラクターを選択して音色を設定すれば、そのまま対話できます。
  • 音色は同梱されていません:単独の人物によるクリーンな 3 秒から 3 分間の録音をアップロードまたは録音する必要があります。公式では有線イヤホンとマイクの使用を推奨しており、Bluetooth では 100 ミリ秒以上の追加遅延が発生します。
  • キャラクターカードには固定フォーマットがあり、haru.prompt の render_card を使用して生成します。

リスク

  • 事前学習された基盤モデルです:自然な会話が可能ですが、公式の説明によれば信頼できる事実情報源ではなく、アシスタントのように指示に従うわけではありません。
  • 参考録音の声を模倣できますが、使用権を持つ音声のみを利用可能です。
  • 現時点で公開されているベンチマーク数値はありません。モデルカードには他の全二重モデルとの比較が含まれておらず、本項目は実行されていません。

開く

Hugging Face Trending

最新の AI ニュースを見る