Оригинальное название: Технический отчет VoxMel TTS
Обычно непрерывный авторегрессионный синтез речи сначала обучает сжатое акустическое представление (например, латентные переменные VAE), но энкодер ограничивает точность воспроизведения; использование мел-спектра напрямую не требует энкодера, однако его сложно стабильно моделировать авторегрессионно. VoxMel использует фиксированное преобразование Хаара по двум осям с возможностью точного восстановления для разложения мел-спектра: сначала спектр разделяется вдоль частотной оси на локальное среднее и частотный остаток, затем вдоль временной оси выделяются грубый мел-спектр (Coarse-Mel) и временной остаток. Основная часть языковой модели с головой потока распределения генерирует авторегрессионно только грубую часть, а два неавторегрессионных слоя последовательно дополняют временной и частотный остатки; эти остатки не возвращаются в историю авторегрессии. Авторы сообщают, что модель размером 0.6B, обученная на 100K часов данных Emilia, достигает WER 1.51% для английского языка и CER 1.29% для китайского; после применения GRPO эти показатели составляют 1.15% и 1.17%. Голова потока распределения также дистиллирована в версии с двумя и четырьмя шагами.
Почему это важно Модели с небольшим количеством параметров выполняют нулевое клонирование голоса для китайского и английского языков; авторы заявляют, что уровень ошибок слов (WER) для английского языка ниже, чем у многих более крупных моделей. Код и веса выпущены под лицензией Apache.
Лайки: 22 · Звезды на GitHub: 92
Причины
- Выпущены веса VoxMel-0.6B и VoxMel-0.3B; постобучение с помощью GRPO выполнено только для модели 0.6B.
- Не требуется обучение акустического токенизатора; на текстовой стороне используется токенизатор Qwen2.5, а финальный аудиосигнал формируется вокодером Vocos с частотой дискретизации 24 кГц.
- Предоставлены интерфейс Python, командная строка voxmel и веб-демо на Gradio; интенсивность управления текстом и тембром можно регулировать отдельно.
Использование
- Код: https://github.com/VoxDance-Lab/VoxMel(Apache-2.0);权重在抱脸 VoxDance-Lab/VoxMel-0.6B; веса вокодера Vocos необходимо подготовить отдельно.
- После установки через
pip install -e .генерация выполняется командойvoxmel --model <каталог_весов> --vocos-path <каталог_Vocos> --prompt-audio reference.wav --prompt-text "оригинальный текст референсного аудио" --text "текст для синтеза"; параметр device, установленный в auto, позволяет автоматически выбирать между CUDA, MPS и CPU.
Риски
- Для клонирования голоса требуется точная текстовая расшифровка референсного аудио; перед имитацией чужого голоса необходимо получить согласие владельца.
- В README не указаны ссылки на загрузку дистиллированных версий с двумя и четырьмя шагами, упомянутых в статье; поддержка операторов и скорость работы на MPS, по словам авторов, требуют дополнительной проверки.
- Результаты приведены со слов авторов; данная запись не была проверена экспериментально.