Audio8-TTS-Realistic-Air: многоязычный синтез речи с малым количеством параметров

Модель синтеза речи, дообученная Edge0 на базе Audio8-TTS-Preview-0.6b. Основная модель содержит 6.01 млрд параметров (без учета кодека) и использует архитектуру DualAR, вдохновленную Fish Audio S2 Pro: медленный авторегрессионный трансформер предсказывает один семантический токен на кадр, а быстрый авторегрессионный трансформер предсказывает 10 кодовых книг для этого кадра. Количество поддерживаемых языков увеличилось с 11 в превью-версии до 23, добавлены арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий и вьетнамский языки. Поддерживается клонирование голоса по образцу записи и транскрипту в режиме zero-shot, а также синтез без референса. В репозиторий включен кодек с частотой дискретизации 44.1 кГц.

Оригинальное название: Edge0/Audio8-TTS-Realistic-Air

Модель синтеза речи, дообученная Edge0 на базе Audio8-TTS-Preview-0.6b. Основная модель содержит 6.01 млрд параметров (без учета кодека) и использует архитектуру DualAR, вдохновленную Fish Audio S2 Pro: медленный авторегрессионный трансформер предсказывает один семантический токен на кадр, а быстрый авторегрессионный трансформер предсказывает 10 кодовых книг для этого кадра. Количество поддерживаемых языков увеличилось с 11 в превью-версии до 23, добавлены арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий и вьетнамский языки. Поддерживается клонирование голоса по образцу записи и транскрипту в режиме zero-shot, а также синтез без референса. В репозиторий включен кодек с частотой дискретизации 44.1 кГц.

Почему это важно Основная модель имеет всего 600 млн параметров, распространяется под лицензией Apache, включает адаптацию для сервиса SGLang Omni и интерфейс синтеза речи, совместимый с OpenAI, что делает её подходящей для локального использования или пакетной озвучки

Рост рейтинга: 52.5 · Лайки: 514 · Загрузки: 18680

Обоснование

  • По официальным данным, средняя ошибка распознавания для китайского и английского языков в Seed-TTS составляет 1.25% (в превью-версии — 1.23%), а сходство с голосом говорящего выросло с 0.682 до 0.704; средняя ошибка на девяти языках в наборе данных CV3 составляет 4.86%
  • Официально приведены показатели ошибок по каждому языку отдельно, а не только средние значения: для таких новых языков, как тайский, финский и вьетнамский, уровень ошибок в CV3 остается высоким
  • Доступна онлайн-версия для тестирования на ZeroGPU; адаптация SGLang Omni поддерживает постраничное внимание, динамическую пакетную обработку и эндпоинт /v1/audio/speech

Использование

  • После установки через pip библиотек torch, transformers (версия выше 4.57, но ниже 5) и soundfile используйте AutoModel / AutoProcessor.from_pretrained("Edge0/Audio8-TTS-Realistic-Air", trust_remote_code=True); при клонировании голоса передайте аргументы reference_audio и точно совпадающий с ним reference_text
  • Для пакетного обслуживания следуйте инструкциям по sglang_omni в репозитории GitHub Edge0-AI/Audio8_TTS, используйте конфигурационный файл audio8_tts_0_6b.yaml и замените путь к модели на путь к текущему репозиторию

Риски

  • Качество сильно варьируется в зависимости от языка; уровень ошибок для кантонского диалекта и некоторых новых языков заметно выше. Официально предупреждают о возможных ошибках чтения, повторах, пропусках слов или преждевременном завершении генерации, поэтому готовый результат требует ручной проверки на слух
  • Официально указано, что эти метрики оценивают только разборчивость и сходство тембра, но не измеряют напрямую «реалистичность»; сравнения с другими моделями выполнены в рамках различных методик оценки и приведены только для справки
  • Для запуска пользовательского кода требуется параметр trust_remote_code; для клонирования голоса необходимо получить соответствующие разрешения; в данном случае тестирование не проводилось

Открыть

Hugging Face Trending

Открыть последние новости ИИ