Многоязычная модель синтеза речи Edge0 с параметрами 0.6B, являющаяся улучшенной версией Audio8-TTS-Preview: позволяет клонировать тембр голоса на основе образца записи и её транскрипта (zero-shot), а также синтезировать речь без образца; поддерживает 23 языков, включая китайский, кантонский, английский, японский и корейский (на 12 языков больше, чем в Preview), с выводом аудио в формате 44.1 кГц.
Рост рейтинга на 118 · Лайков: 119 · Загрузок: 813
Причины
- Используется структура DualAR из Fish Audio S2 Pro: медленная авторегрессия предсказывает один семантический токен на кадр, а быстрая авторегрессия дополняет 10 кодовых книг; основная модель содержит 601M параметров (без учета кодека 44.1 кГц, поставляемого вместе с репозиторием), в репозитории присутствуют чекпоинты, кодек, токенизатор и код.
- Официально заявлены следующие показатели: для Seed-TTS ошибка распознавания для китайского и английского составляет 1.25 (в Preview — 1.23), сходство говорящего — 0.704 (в Preview — 0.682); для набора MiniMax ошибка распознавания составляет 5.89 для 24 языков, что лучше, чем у Qwen3-TTS-1.7B (27.41), но хуже, чем у моделей уровня 4B, таких как Higgs Audio v3 (2.74) и Fish S2 Pro (4.40). В официальной документации также указано, что эти метрики оценивают только разборчивость и сходство тембра, но не измеряют напрямую «реалистичность».
- Доступен бесплатный Playground на Hugging Face; плагин SGLang Omni предоставляет совместимый с OpenAI интерфейс /v1/audio/speech; лицензия Apache-2.0, ранее в выпусках не рассматривалась.
Использование
- Командная строка: git clone Edge0-AI/Audio8_TTS, pip install -r requirements.txt, python audio8_tts_infer.py --model Edge0/Audio8-TTS-Realistic-0.6b --text "текст для синтеза" --output outputs/realistic.wav; для клонирования голоса добавьте --reference-audio reference.wav --reference-text "транскрипт образца" (должен полностью совпадать с содержанием записи).
- Transformers (версии от 4.57 до ниже 5, trust_remote_code=True): передайте в processor аргументы text, reference_audio и reference_text, при вызове generate используйте temperature 0.8, top_p 0.95 и top_k 50, затем декодируйте в аудиоволну с помощью model.decode_audio.
- Длинные абзацы необходимо разбивать на короткие предложения: образец аудио, его транскрипт и целевой текст используют общий контекст из 2,048 позиций.
Риски
- Качество сильно варьируется в зависимости от языка: на наборе CV3 ошибка распознавания для тайского составляет 48.574, для финского — 32.279, а на наборе MiniMax для кантонского — 31.349; наличие языка в списке поддержки не означает одинакового качества для всех языков.
- Официальная проверка работоспособности проводилась только на H20 BF16; пропускная способность и потоковая передача не тестировались; возможны ошибки чтения, повторы, пропуски слов или преждевременное завершение генерации. В официальной документации рекомендуется прослушивать каждый результат перед использованием. В данной рубрике примеры не прослушивались.
- Для клонирования голоса другого человека необходимо получить разрешение и, при необходимости, маркировать синтезированное аудио.