Haru-4B : modèle de dialogue vocal full-duplex capable d'écouter et de parler simultanément

Modèle de base pour le dialogue vocal continu full-duplex, à faible latence et multilingue, publié par Higurashi AI, destiné à la recherche. Chaque 133 milliseconde constitue une image : le modèle lit une image audio de l'utilisateur et génère simultanément sa propre image audio et le texte correspondant ; les trois sont additionnés et placés dans la même position du modèle de langage, de sorte que l'écoute et la parole ne s'attendent pas mutuellement. L'audio est un vecteur continu de 64 dimensions par image, généré en une seule étape d'échantillonnage par un petit en-tête MLP utilisant MeanFlow, sans transformeur audio indépendant ni jetons audio discrets. Le cœur du modèle de langage est la partie texte de Qwen3.5-4B, et le codec utilise le tokenizer acoustique causal de VibeVoice (24kHz). La personnalité est définie par une carte de rôle textuelle et le timbre par un court enregistrement de référence ; neuf langues sont prises en charge : anglais, espagnol, portugais, allemand, français, chinois, japonais, russe et coréen.

Titre original : higurashi-ai/Haru-4B

Modèle de base pour le dialogue vocal continu full-duplex, à faible latence et multilingue, publié par Higurashi AI, destiné à la recherche. Chaque 133 milliseconde constitue une image : le modèle lit une image audio de l'utilisateur et génère simultanément sa propre image audio et le texte correspondant ; les trois sont additionnés et placés dans la même position du modèle de langage, de sorte que l'écoute et la parole ne s'attendent pas mutuellement. L'audio est un vecteur continu de 64 dimensions par image, généré en une seule étape d'échantillonnage par un petit en-tête MLP utilisant MeanFlow, sans transformeur audio indépendant ni jetons audio discrets. Le cœur du modèle de langage est la partie texte de Qwen3.5-4B, et le codec utilise le tokenizer acoustique causal de VibeVoice (24kHz). La personnalité est définie par une carte de rôle textuelle et le timbre par un court enregistrement de référence ; neuf langues sont prises en charge : anglais, espagnol, portugais, allemand, français, chinois, japonais, russe et coréen.

Pourquoi c'est important L'écoute et la parole se déroulent simultanément dans la même position du modèle de langage, sans attendre la fin de la phrase de l'interlocuteur ; il fonctionne sur une seule carte graphique grand public, avec une application native pour Mac, et les poids sont sous licence Apache

Score de progression 136 · J'aime 149 · Téléchargements 165

Raisons

  • Trois implémentations lisent les mêmes poids : PyTorch (avec démo web), implémentation MLX sur puces Apple et application macOS native, et plugin de service vLLM-Omni (concurrence multi-voies, faible latence)
  • Selon les informations officielles, environ 12 Go de mémoire vidéo sur une carte NVIDIA suffisent pour exécuter la démo web ; l'interface Python envoie et reçoit l'audio image par image, et il existe également une commande hors ligne haru-inference
  • Le dépôt de code et le blog technique (en anglais et en japonais) sont publiés simultanément

Utilisation

  • git clone https://github.com/higurashi-ai/Haru,pip install -e ./haru, python -m haru.server --hf-repo higurashi-ai/Haru-4B, ouvrez localhost:8998 dans le navigateur, sélectionnez un rôle, fournissez un timbre et engagez directement la conversation
  • Pas de timbre intégré : il faut télécharger ou enregistrer un extrait de 3 secondes à 3 minutes, d'une seule personne et propre ; les recommandations officielles préconisent l'utilisation d'un casque et d'un microphone filaires, car le Bluetooth ajoute plus de 100 millisecondes de latence
  • Les cartes de rôle ont un format fixe, généré via render_card dans haru.prompt

Risques

  • C'est un modèle de base pré-entraîné : il peut discuter naturellement, mais les informations officielles indiquent qu'il n'est pas une source fiable de faits et qu'il ne suit pas les instructions comme un assistant
  • Il peut imiter la voix de l'enregistrement de référence ; n'utilisez que des voix dont vous avez le droit d'utiliser
  • Aucune métrique d'évaluation publique n'est disponible pour le moment, la fiche du modèle ne propose pas de comparaison avec d'autres modèles full-duplex ; cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA