Tiêu đề gốc: higurashi-ai/Haru-4B
Mô hình nền tảng hội thoại giọng nói liên tục, song công toàn phần, đa ngôn ngữ, độ trễ thấp do Higurashi AI phát hành, dành cho mục đích nghiên cứu. Mỗi 133 mili giây là một khung hình: mô hình đọc một khung âm thanh của người dùng, đồng thời xuất ra một khung âm thanh và văn bản của chính nó; ba thành phần này được cộng lại và đưa vào cùng một vị trí trong mô hình ngôn ngữ, nên việc nghe và nói không phải chờ đợi nhau. Âm thanh là các vector liên tục 64 chiều cho mỗi khung, được tạo ra bằng cách lấy mẫu một bước với MeanFlow thông qua một đầu MLP nhỏ, không có transformer âm thanh riêng biệt và cũng không có token âm thanh rời rạc. Phần lõi của mô hình ngôn ngữ là phần văn bản của Qwen3.5-4B, còn bộ mã hóa/giải mã sử dụng bộ tách từ âm học nhân quả của VibeVoice (24kHz). Thiết lập nhân vật bằng thẻ mô tả nhân vật dạng văn bản, thiết lập âm sắc bằng một đoạn ghi âm tham khảo ngắn, hỗ trợ chín ngôn ngữ: Anh, Tây Ban Nha, Bồ Đào Nha, Đức, Pháp, Trung, Nhật, Nga và Hàn.
Tại sao quan trọng Việc nghe và nói diễn ra đồng bộ tại cùng một vị trí trong mô hình ngôn ngữ, không cần chờ đối phương nói xong; có thể chạy trên một card đồ họa tiêu dùng đơn lẻ, có ứng dụng gốc cho Mac, giấy phép Apache cho trọng số
Điểm tăng 136 · Lượt thích 149 · Lượt tải 165
Lý do
- Ba cách triển khai đọc cùng một bộ trọng số: PyTorch (bao gồm demo web), triển khai MLX trên chip Apple và ứng dụng macOS gốc, plugin dịch vụ vLLM-Omni (đa luồng đồng thời, độ trễ thấp)
- Theo thông tin chính thức, card đồ họa NVIDIA chỉ cần khoảng 12GB VRAM để chạy demo web; giao diện Python gửi/nhận âm thanh theo từng khung, cũng có lệnh chạy ngoại tuyến haru-inference
- Kho mã nguồn và blog kỹ thuật (tiếng Anh, tiếng Nhật) được công khai đồng bộ
Cách sử dụng
- git clone https://github.com/higurashi-ai/Haru,pip install -e ./haru, python -m haru.server --hf-repo higurashi-ai/Haru-4B, mở trình duyệt tại localhost:8998, chọn nhân vật, cung cấp âm sắc rồi trò chuyện trực tiếp
- Không có sẵn âm sắc: cần tải lên hoặc ghi âm một đoạn từ 3 giây đến 3 phút, một người nói, âm thanh sạch; khuyến nghị chính thức là dùng tai nghe và micro có dây, vì Bluetooth sẽ gây thêm độ trễ trên 100 mili giây
- Thẻ nhân vật có định dạng cố định, được tạo bằng hàm render_card trong haru.prompt
Rủi ro
- Đây là mô hình nền tảng đã được tiền huấn luyện: có thể trò chuyện tự nhiên, nhưng theo mô tả chính thức, nó không phải là nguồn thông tin đáng tin cậy và không tuân theo chỉ dẫn như một trợ lý
- Có thể bắt chước giọng nói từ bản ghi âm tham khảo, chỉ nên sử dụng những giọng nói mà bạn có quyền sử dụng
- Chưa có số liệu đánh giá công khai, thẻ mô hình không có so sánh với các mô hình song công toàn phần khác; mục này chưa được chạy thử