Оригинальное название: Edge0/Audio8-TTS-Realistic-Air
Модель синтеза речи, дообученная Edge0 на базе Audio8-TTS-Preview-0.6b: основная модель 0.6B (601,159,424 параметров, без отдельного кодека 44.1 кГц); авторы заявляют более естественную речь и выразительную просодию; поддерживается 23 языков, включая добавленные по сравнению с Preview арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий и вьетнамский — всего 12 новых языков, а также китайский, кантонский, английский, японский и корейский. Для клонирования голоса в режиме zero-shot достаточно предоставить эталонную запись и её пословную транскрипцию; возможен также синтез без эталонной записи. Архитектура основана на DualAR из Fish Audio S2 Pro: медленная AR-модель предсказывает один семантический токен на кадр, а быстрая AR-модель предсказывает 10 кодовых книг для этого кадра. Репозиторий создан 14 10, в предыдущих выпусках не освещался.
Рост рейтинга: 252 · Лайки: 318 · Загрузки: 11349
Причины
- Компактная модель, многоязычность: авторы сообщают, что средняя ошибка распознавания (CER/WER) для китайского и английского в Seed-TTS составляет 1.25% (в Preview — 1.23%), а сходство с говорящим — 0.704 (в Preview — 0.682); на Common Voice 3 ошибка для восьми общих языков снизилась с 4.80% до 4.56%. Авторы также отмечают, что эти метрики оценивают разборчивость и сходство, но не измеряют напрямую «реалистичность».
- Полный путь развертывания: прямая загрузка через Transformers (кодек включен в пакет, искать отдельно не нужно); также доступен плагин SGLang Omni с пагинацией внимания, динамической пакетной обработкой и совместимым с OpenAI эндпоинтом /v1/audio/speech; в репозитории GitHub есть скрипты для командной строки, пакетной обработки и дообучения с учителем.
- Лицензия Apache-2.0, доступен онлайн-демо Space на ZeroGPU; количество лайков на Hugging Face — 318 (отражает только уровень интереса).
Использование
- pip install "torch>=2.5.0" "torchaudio>=2.5.0" "transformers>=4.57.0,<5" soundfile safetensors; AutoProcessor / AutoModel.from_pretrained('Edge0/Audio8-TTS-Realistic-Air', trust_remote_code=True); при клонировании передаются reference_audio и reference_text, пословно соответствующий записи; после generate(max_new_tokens=1024, temperature=0.8, top_p=0.95, top_k=50, do_sample=True, return_dict_in_generate=True) результат декодируется через model.decode_audio(output.codes) и сохраняется в wav.
- Если эталонный голос не требуется, в processor передается только text; эталонная запись должна быть чистой, длинные тексты следует разбивать на части перед синтезом (эталонная аудио, транскрипция и целевой текст используют общий контекст). Для развертывания в виде сервиса используйте конфигурацию sglang_omni audio8_tts_0_6b.yaml из репозитория GitHub Edge0-AI/Audio8_TTS, указав путь к текущему репозиторию.
Риски
- Значительные различия между языками: в таблице Common Voice 3 авторов CER для китайского составляет 1.814%, WER для английского — 2.907%, тогда как для тайского — 48.574%, для финского — 32.279%, для вьетнамского — 28.111%; CER для сложных китайских примеров даже немного выше, чем в Preview (11.510% → 12.797%).
- Сервис на базе SGLang протестирован только на H20 (непотоковый режим, отключены torch.compile и CUDA Graph); пропускная способность и потоковая передача не тестировались. Авторы предупреждают о возможных ошибках чтения, повторах, пропусках слов или преждевременном завершении генерации; перед использованием готового продукта необходимо прослушать каждый фрагмент.
- Для клонирования чужого голоса необходимо получить разрешение; синтезированные аудиофайлы следует маркировать в зависимости от контекста использования. В карточке модели не упоминается наличие водяных знаков.