ZONOS3-Mini: мультиязычное клонирование голоса в реальном времени на смартфонах и в браузере

Открытая модель преобразования текста в речь от Zyphra с общим количеством параметров 8 млрд, архитектурой MoE, активирующей около 1 млрд параметров на токен, и поддержкой 43 языков (включая китайский, японский и корейский). Можно клонировать голос по одному образцу аудио (максимум 60 секунд), а также использовать вектор говорящего для настройки тембра персонажа, управляя громкостью, шириной полосы пропускания и скоростью речи по уровням; официально заявлено, что эмоции и ритм можно контролировать на уровне отдельных слов. Выводится аудио с частотой 44.1 кГц, максимальная длительность одной генерации составляет 10 минут; официально сообщается, что на одном графическом процессоре H100 при 8 одновременных потоках медианная задержка первого пакета аудио составляет 80 миллисекунд, а пиковая пропускная способность достигает 457 секунд аудио в секунду.

Оригинальное название: Zyphra/ZONOS3-Mini

Открытая модель преобразования текста в речь от Zyphra с общим количеством параметров 8 млрд, архитектурой MoE, активирующей около 1 млрд параметров на токен, и поддержкой 43 языков (включая китайский, японский и корейский). Можно клонировать голос по одному образцу аудио (максимум 60 секунд), а также использовать вектор говорящего для настройки тембра персонажа, управляя громкостью, шириной полосы пропускания и скоростью речи по уровням; официально заявлено, что эмоции и ритм можно контролировать на уровне отдельных слов. Выводится аудио с частотой 44.1 кГц, максимальная длительность одной генерации составляет 10 минут; официально сообщается, что на одном графическом процессоре H100 при 8 одновременных потоках медианная задержка первого пакета аудио составляет 80 миллисекунд, а пиковая пропускная способность достигает 457 секунд аудио в секунду.

Почему это важно Возможность клонировать голос в браузере с использованием локальной видеокарты, а также управлять эмоциями и скоростью речи на уровне слов; веса распространяются под лицензией Apache, допускающей коммерческое использование

Рост рейтинга: 83 · Лайки: 84 · Количество загрузок: 856

Причины

  • Небольшой размер, официально заявлено, что модель может работать в реальном времени на смартфонах, ноутбуках и в браузере; браузерная версия использует WebGPU, не требуя установки или сервера
  • Разнообразие вариантов запуска: SGLang-Omni предоставляет совместимый с OpenAI интерфейс /v1/audio/speech и потоковую передачу, также официально доступны среды выполнения CUDA, MLX (для чипов Apple), C++/ggml и WebGPU, включая 27 предустановленных голосов
  • Веса распространяются под лицензией Apache-2.0, допускающей коммерческое использование

Использование

  • Откройте официальную страницу Zonos Voice Studio или Lite в браузере для тестирования (требуется браузер с поддержкой WebGPU, при первом посещении произойдет загрузка модели)
  • На стороне сервера: после установки SGLang-Omni выполните команду sgl-omni serve --model-path Zyphra/ZONOS3-Mini; для клонирования голоса добавьте в запрос параметр references с указанием образца аудио, для потоковой передачи добавьте "stream": true

Риски

  • Сравнение качества и скорости выполнено официально на собственном бенчмарке ZTTS2-Eval, полная оценка доступна в официальном блоге
  • Клонирование голоса может быть использовано во зло, перед использованием чужого голоса необходимо получить разрешение
  • Данный пункт не был протестирован, фактические результаты следует сверять с карточкой модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ