Оригинальное название: Zyphra/ZONOS3-Mini
Открытая модель преобразования текста в речь от Zyphra с общим количеством параметров 8 млрд, архитектурой MoE, активирующей около 1 млрд параметров на токен, и поддержкой 43 языков (включая китайский, японский и корейский). Можно клонировать голос по одному образцу аудио (максимум 60 секунд), а также использовать вектор говорящего для настройки тембра персонажа, управляя громкостью, шириной полосы пропускания и скоростью речи по уровням; официально заявлено, что эмоции и ритм можно контролировать на уровне отдельных слов. Выводится аудио с частотой 44.1 кГц, максимальная длительность одной генерации составляет 10 минут; официально сообщается, что на одном графическом процессоре H100 при 8 одновременных потоках медианная задержка первого пакета аудио составляет 80 миллисекунд, а пиковая пропускная способность достигает 457 секунд аудио в секунду.
Почему это важно Возможность клонировать голос в браузере с использованием локальной видеокарты, а также управлять эмоциями и скоростью речи на уровне слов; веса распространяются под лицензией Apache, допускающей коммерческое использование
Рост рейтинга: 83 · Лайки: 84 · Количество загрузок: 856
Причины
- Небольшой размер, официально заявлено, что модель может работать в реальном времени на смартфонах, ноутбуках и в браузере; браузерная версия использует WebGPU, не требуя установки или сервера
- Разнообразие вариантов запуска: SGLang-Omni предоставляет совместимый с OpenAI интерфейс /v1/audio/speech и потоковую передачу, также официально доступны среды выполнения CUDA, MLX (для чипов Apple), C++/ggml и WebGPU, включая 27 предустановленных голосов
- Веса распространяются под лицензией Apache-2.0, допускающей коммерческое использование
Использование
- Откройте официальную страницу Zonos Voice Studio или Lite в браузере для тестирования (требуется браузер с поддержкой WebGPU, при первом посещении произойдет загрузка модели)
- На стороне сервера: после установки SGLang-Omni выполните команду sgl-omni serve --model-path Zyphra/ZONOS3-Mini; для клонирования голоса добавьте в запрос параметр references с указанием образца аудио, для потоковой передачи добавьте "stream": true
Риски
- Сравнение качества и скорости выполнено официально на собственном бенчмарке ZTTS2-Eval, полная оценка доступна в официальном блоге
- Клонирование голоса может быть использовано во зло, перед использованием чужого голоса необходимо получить разрешение
- Данный пункт не был протестирован, фактические результаты следует сверять с карточкой модели