tiny-voca: маленькая модель синтеза английской речи, работающая только на CPU

Английская TTS-модель, загруженная n4ze3m 11 14, по словам автора содержит в общей сложности 4,537,291 параметров вместе с генератором формы волны, выводит монофонический звук частотой 24 кГц и предлагает два голоса американского английского: F2 (женский) и M2 (мужской). Вместо нейронного вокодера используется синтезатор типа «источник-фильтр», объем обучающих данных составляет около 17.6 часов, все они синтезированы с помощью Qwen3-TTS без использования записей живого голоса; предоставляются веса PyTorch и версия ONNX, которую можно запустить в onnxruntime-web.

Оригинальное название: n4ze3m/tiny-voca

Английская TTS-модель, загруженная n4ze3m 11 14, по словам автора содержит в общей сложности 4,537,291 параметров вместе с генератором формы волны, выводит монофонический звук частотой 24 кГц и предлагает два голоса американского английского: F2 (женский) и M2 (мужской). Вместо нейронного вокодера используется синтезатор типа «источник-фильтр», объем обучающих данных составляет около 17.6 часов, все они синтезированы с помощью Qwen3-TTS без использования записей живого голоса; предоставляются веса PyTorch и версия ONNX, которую можно запустить в onnxruntime-web.

Почему это важно Вся модель содержит всего около четырех-пяти миллионов параметров и не требует GPU, что делает ее подходящей для добавления функции чтения вслух на английском языке в офлайн-приложения, веб-сайты или встроенные устройства

Рост рейтинга 77 · Лайки 77 · Загрузки 40

Причины

  • По словам автора, скорость работы составляет примерно 70 реального времени при использовании 4 потоков CPU; в карточке модели указано, что она может работать на смартфонах или в браузерах
  • Датасет, код обучения и инструмент для фонематической конвертации dizione опубликованы в открытом доступе; автор утверждает, что весь проект обошелся в 9.56 долларов при использовании арендованной видеокарты RTX 4090
  • В карточке модели приведены примеры аудио из 4 предложений (по одному набору для каждого голоса), полная таблица параметров и описание ограничений

Использование

  • Выполните pip install git+https://github.com/n4ze3m/dizione git+https://github.com/n4ze3m/tiny-voca,下载模型后设 DIZIONE_DATA=tiny-voca/phonemizer, затем запустите python -m tiny_voca.infer --checkpoint tiny-voca/tiny-voca.pt --voice F2 --text "…" --output hello.wav
  • Можно настроить параметры --speed (скорость речи), --pitch-shift (сдвиг высоты тона примерно на полутон, 0.058) и --pitch-range; длинные тексты разбиваются на предложения перед склейкой
  • Версия ONNX обрабатывает максимум 512 фонем и 32 секунд за один проход, предварительно требуется конвертация в фонемы с помощью dizione; выходной сигнал иногда превышает 1.0, поэтому перед сохранением аудио разрядностью 16 бит необходимо выполнить масштабирование согласно примерам из карточки модели

Риски

  • Поддерживается только английский язык и два фиксированных голоса, отсутствует клонирование голоса и потоковая передача; одно и то же предложение всегда читается одинаково, иностранные имена и редкие написания часто произносятся неверно
  • По словам автора, голос звучит четко, но имеет легкий синтетический оттенок; голос F2 звучит моложе, чем задумано; обучающие данные сами по себе являются синтезированной речью, поэтому естественность не может превысить уровень Qwen3-TTS
  • Оценка основана только на показателе WER (ошибки распознавания Whisper) для 8–16 предложений; автор поясняет, что это лишь самопроверка без проведения формальных слуховых тестов; в данном обзоре модель не запускалась и не прослушивалась

Открыть

Hugging Face Trending

Открыть последние новости ИИ