原题:higurashi-ai/Haru-4B
Higurashi AI 发布的低延迟、多语种全双工连续语音对话基座模型,研究用途。每 133 毫秒为一帧:模型读入用户的一帧音频,同时输出自己的一帧音频和文字,三者相加放进语言模型的同一个位置,所以听和说互不等待。音频是每帧 64 维的连续向量,由一个小 MLP 头用 MeanFlow 一步采样生成,没有独立的音频 transformer,也没有离散音频 token。语言模型主干是 Qwen3.5-4B 的文本部分,编解码器用 VibeVoice 的因果声学分词器(24kHz)。用文字角色卡设定人设、用一小段参考录音设定音色,支持英、西、葡、德、法、中、日、俄、韩九种语言。
为什么重要 听和说在同一个语言模型位置里同步进行,不用等对方说完;单张消费级显卡可跑,Mac 有原生应用,权重 Apache 许可
上升分 136 · 点赞 149 · 下载量 165
理由
- 三套实现读同一份权重:PyTorch(含网页演示)、Apple 芯片上的 MLX 实现和原生 macOS 应用、vLLM-Omni 服务插件(多路并发、低延迟)
- 官方称 NVIDIA 显卡约 12GB 显存即可运行网页演示;Python 接口逐帧收发音频,也有离线命令 haru-inference
- 代码仓库和技术博客(英文、日文)同步公开
用法
- git clone https://github.com/higurashi-ai/Haru,pip install -e ./haru,python -m haru.server --hf-repo higurashi-ai/Haru-4B,浏览器打开 localhost:8998,选角色、给音色后直接对话
- 不自带音色:需要上传或录一段单人、干净的 3 秒到 3 分钟录音;官方建议用有线耳机和麦克风,蓝牙会多出 100 毫秒以上延迟
- 角色卡有固定格式,用 haru.prompt 里的 render_card 生成
风险
- 是预训练基座:能自然聊天,但官方说明它不是可靠的事实来源,也不像助手那样听从指令
- 能模仿参考录音的声音,只能使用有权使用的声音
- 暂无公开评测数字,模型卡没有和其他全双工模型的对比;本条未运行