Оригинальное название: higurashi-ai/Haru-4B
Базовая модель полнодуплексного непрерывного голосового диалога с низкой задержкой и поддержкой нескольких языков, выпущенная Higurashi AI, предназначена для исследовательских целей. Каждый кадр составляет 133 миллисекунд: модель считывает один кадр аудио от пользователя и одновременно выводит свой кадр аудио и текста; все три компонента складываются в одну позицию в языковой модели, поэтому процессы слушания и говорения не ждут друг друга. Аудио представляет собой непрерывный вектор размерностью 64 измерений на кадр, генерируемый небольшим MLP-головкой с помощью одношаговой выборки MeanFlow; отсутствуют отдельные аудио-трансформеры и дискретные аудио-токены. Основной ствол языковой модели — текстовая часть Qwen3.5-4B, а кодек использует причинный акустический токенизатор VibeVoice (24 кГц). Персонаж задается текстовой карточкой, тембр голоса — коротким референсным аудиозаписью; поддерживаются девять языков: английский, испанский, португальский, немецкий, французский, китайский, японский, русский и корейский.
Почему это важно Слушание и говорение синхронизированы в одной позиции языковой модели, без ожидания завершения речи собеседника; запуск возможен на одной потребительской видеокарте, для Mac доступно нативное приложение, веса распространяются под лицензией Apache
Рост рейтинга 136 · Лайки 149 · Загрузки 165
Причины
- Три реализации используют одни и те же веса: PyTorch (включая веб-демо), реализация на MLX для чипов Apple и нативное приложение для macOS, плагин сервиса vLLM-Omni (многопоточность, низкая задержка)
- По официальным данным, для запуска веб-демо на видеокартах NVIDIA достаточно примерно 12 ГБ видеопамяти; Python-интерфейс принимает и отправляет аудио покадрово, также доступна офлайн-команда haru-inference
- Репозиторий с кодом и технический блог (на английском и японском языках) опубликованы синхронно
Использование
- git clone https://github.com/higurashi-ai/Haru,pip install -e ./haru, python -m haru.server --hf-repo higurashi-ai/Haru-4B, откройте в браузере localhost:8998, выберите персонажа, задайте тембр и начните диалог
- Тембр голоса не поставляется в комплекте: необходимо загрузить или записать чистую аудиозапись одного человека длительностью от 3 секунд до 3 минут; официально рекомендуется использовать проводные наушники и микрофон, так как Bluetooth добавляет задержку более 100 миллисекунд
- Карточки персонажей имеют фиксированный формат, генерируются с помощью функции render_card из модуля haru.prompt
Риски
- Это предобученная базовая модель: она может вести естественную беседу, но, согласно официальному описанию, не является надежным источником фактов и не следует инструкциям так, как это делают ассистенты
- Модель может имитировать голос из референсной записи; используйте только те голоса, на которые у вас есть права
- Публичные метрики оценки отсутствуют, в карточке модели нет сравнений с другими полнодуплексными моделями; данный пункт не был протестирован