Оригинальное название: Edge0/Audio8-TTS-Realistic-Air
Модель синтеза речи, дообученная Edge0 на базе Audio8-TTS-Preview-0.6b. Основная модель содержит 6.01 млрд параметров (без учета кодека) и использует архитектуру DualAR, вдохновленную Fish Audio S2 Pro: медленный авторегрессионный трансформер предсказывает один семантический токен на кадр, а быстрый авторегрессионный трансформер предсказывает 10 кодовых книг для этого кадра. Количество поддерживаемых языков увеличилось с 11 в превью-версии до 23, добавлены арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий и вьетнамский языки. Поддерживается клонирование голоса по образцу записи и транскрипту в режиме zero-shot, а также синтез без референса. В репозиторий включен кодек с частотой дискретизации 44.1 кГц.
Почему это важно Основная модель имеет всего 600 млн параметров, распространяется под лицензией Apache, включает адаптацию для сервиса SGLang Omni и интерфейс синтеза речи, совместимый с OpenAI, что делает её подходящей для локального использования или пакетной озвучки
Рост рейтинга: 52.5 · Лайки: 514 · Загрузки: 18680
Обоснование
- По официальным данным, средняя ошибка распознавания для китайского и английского языков в Seed-TTS составляет 1.25% (в превью-версии — 1.23%), а сходство с голосом говорящего выросло с 0.682 до 0.704; средняя ошибка на девяти языках в наборе данных CV3 составляет 4.86%
- Официально приведены показатели ошибок по каждому языку отдельно, а не только средние значения: для таких новых языков, как тайский, финский и вьетнамский, уровень ошибок в CV3 остается высоким
- Доступна онлайн-версия для тестирования на ZeroGPU; адаптация SGLang Omni поддерживает постраничное внимание, динамическую пакетную обработку и эндпоинт /v1/audio/speech
Использование
- После установки через pip библиотек torch, transformers (версия выше 4.57, но ниже 5) и soundfile используйте AutoModel / AutoProcessor.from_pretrained("Edge0/Audio8-TTS-Realistic-Air", trust_remote_code=True); при клонировании голоса передайте аргументы reference_audio и точно совпадающий с ним reference_text
- Для пакетного обслуживания следуйте инструкциям по sglang_omni в репозитории GitHub Edge0-AI/Audio8_TTS, используйте конфигурационный файл audio8_tts_0_6b.yaml и замените путь к модели на путь к текущему репозиторию
Риски
- Качество сильно варьируется в зависимости от языка; уровень ошибок для кантонского диалекта и некоторых новых языков заметно выше. Официально предупреждают о возможных ошибках чтения, повторах, пропусках слов или преждевременном завершении генерации, поэтому готовый результат требует ручной проверки на слух
- Официально указано, что эти метрики оценивают только разборчивость и сходство тембра, но не измеряют напрямую «реалистичность»; сравнения с другими моделями выполнены в рамках различных методик оценки и приведены только для справки
- Для запуска пользовательского кода требуется параметр trust_remote_code; для клонирования голоса необходимо получить соответствующие разрешения; в данном случае тестирование не проводилось