Tiêu đề gốc: Báo cáo kỹ thuật VoxMel TTS
Tổng hợp giọng nói tự hồi quy liên tục thường bắt đầu bằng việc học một biểu diễn âm học nén (như biến ẩn VAE), nhưng bộ mã hóa sẽ hạn chế độ trung thực; sử dụng trực tiếp phổ Mel không cần bộ mã hóa, nhưng khó mô hình hóa ổn định theo cách tự hồi quy. VoxMel sử dụng phép biến đổi Haar hai trục cố định, có thể khôi phục chính xác để tách phổ Mel: trước tiên tách dọc theo tần số thành trung bình cục bộ và phần dư tần số, sau đó tách dọc theo thời gian thành Mel thô (Coarse-Mel) và phần dư thời gian. Khung xương mô hình ngôn ngữ kết hợp với đầu khớp lưu chỉ tạo ra phần thô theo cách tự hồi quy, hai lớp không tự hồi quy lần lượt bổ sung phần dư thời gian và phần dư tần số, các phần dư này không được đưa ngược lại vào lịch sử tự hồi quy. Các tác giả cho biết mô hình 0.6B được huấn luyện trên 100K giờ dữ liệu Emilia đạt WER tiếng Anh là 1.51%, CER tiếng Trung là 1.29%; sau khi áp dụng GRPO, các chỉ số này lần lượt là 1.15% và 1.17%; đầu khớp lưu cũng được chưng cất thành các phiên bản hai bước và bốn bước.
Tại sao quan trọng Mô hình tham số nhỏ thực hiện nhân bản giọng nói zero-shot cho tiếng Anh và tiếng Trung, các tác giả cho biết tỷ lệ lỗi từ tiếng Anh thấp hơn nhiều mô hình lớn hơn; mã nguồn và trọng số đều được mở theo giấy phép Apache
Thích 22 · Số sao mã nguồn 92
Lý do
- Đã phát hành hai bộ trọng số VoxMel-0.6B và VoxMel-0.3B, chỉ có mô hình 0.6B được huấn luyện hậu kỳ bằng GRPO
- Không cần huấn luyện bộ tách từ âm học, phía văn bản sử dụng trực tiếp bộ tách từ Qwen2.5, cuối cùng bộ mã hóa giọng nói Vocos ở tần số 24kHz sẽ tạo ra âm thanh
- Cung cấp giao diện Python, dòng lệnh voxmel và demo web Gradio, cường độ hướng dẫn bằng văn bản và hướng dẫn bằng màu sắc giọng nói có thể được điều chỉnh riêng biệt
Cách sử dụng
- Mã nguồn: https://github.com/VoxDance-Lab/VoxMel(Apache-2.0);权重在抱脸 VoxDance-Lab/VoxMel-0.6B, trọng số bộ mã hóa giọng nói Vocos cần được chuẩn bị riêng
- Sau khi chạy pip install -e . , dùng lệnh voxmel --model <thư mục trọng số> --vocos-path <thư mục Vocos> --prompt-audio reference.wav --prompt-text "Văn bản gốc của âm thanh tham chiếu" --text "Câu cần tổng hợp" để tạo ra; thiết bị đặt là auto sẽ tự động chọn giữa CUDA, MPS và CPU
Rủi ro
- Nhân bản giọng nói bắt buộc phải có bản ghi chính xác của âm thanh tham chiếu; cần sự đồng ý của người đó trước khi mô phỏng giọng nói của họ
- Các phiên bản chưng cất hai bước và bốn bước trong bài báo không được liệt kê để tải xuống trong README; hỗ trợ toán tử và tốc độ trên MPS vẫn đang được các tác giả xác minh
- Kết quả do các tác giả báo cáo; mục này chưa được chạy thử