WaveGen: Tạo trực tiếp dạng sóng từ văn bản mà không cần bộ tổng hợp tiếng nói (vocoder) và bộ mã hóa/giải mã âm thanh (codec)

Các mô hình TTS hiện nay phần lớn phụ thuộc vào các biểu diễn trung gian được huấn luyện riêng biệt: bộ mã hóa/giải mã âm thanh thần kinh, bộ tổng hợp tiếng nói phổ Mel hoặc không gian tiềm ẩn VAE, cùng với bộ dự đoán thời lượng để căn chỉnh. WaveGen sử dụng Spectral Forcing để đồng thời học quỹ đạo phổ nội bộ và quỹ đạo dạng sóng mục tiêu trong một mô hình duy nhất; việc căn chỉnh giữa văn bản và giọng nói cũng được thực hiện bên trong mô hình, không cần các đặc trưng tự giám sát như embedding văn bản BERT hay biểu diễn ngữ nghĩa Wav2Vec 2.0. Các tác giả đã mở rộng quy mô mô hình từ 0.1B lên 0.6B, chỉ sử dụng dữ liệu mã nguồn mở Emilia trong một giai đoạn huấn luyện; họ tuyên bố rằng trên tập dữ liệu Seed-en, WER đạt 1.47 và độ tương đồng người nói đạt 0.75, đây là kết quả tốt nhất trong số các mô hình TTS được huấn luyện bằng dữ liệu Emilia. Bài báo đã được NeurIPS 2026 chấp nhận.

Tiêu đề gốc: WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning

Các mô hình TTS hiện nay phần lớn phụ thuộc vào các biểu diễn trung gian được huấn luyện riêng biệt: bộ mã hóa/giải mã âm thanh thần kinh, bộ tổng hợp tiếng nói phổ Mel hoặc không gian tiềm ẩn VAE, cùng với bộ dự đoán thời lượng để căn chỉnh. WaveGen sử dụng Spectral Forcing để đồng thời học quỹ đạo phổ nội bộ và quỹ đạo dạng sóng mục tiêu trong một mô hình duy nhất; việc căn chỉnh giữa văn bản và giọng nói cũng được thực hiện bên trong mô hình, không cần các đặc trưng tự giám sát như embedding văn bản BERT hay biểu diễn ngữ nghĩa Wav2Vec 2.0. Các tác giả đã mở rộng quy mô mô hình từ 0.1B lên 0.6B, chỉ sử dụng dữ liệu mã nguồn mở Emilia trong một giai đoạn huấn luyện; họ tuyên bố rằng trên tập dữ liệu Seed-en, WER đạt 1.47 và độ tương đồng người nói đạt 0.75, đây là kết quả tốt nhất trong số các mô hình TTS được huấn luyện bằng dữ liệu Emilia. Bài báo đã được NeurIPS 2026 chấp nhận.

Tại sao quan trọng Loại bỏ các mô-đun bên ngoài như bộ tổng hợp tiếng nói, bộ mã hóa/giải mã âm thanh và bộ dự đoán thời lượng, sử dụng một mô hình duy nhất với một giai đoạn huấn luyện, giúp đơn giản hóa quy trình tổng hợp giọng nói

Lượt thích 14 · Số sao mã nguồn 30

Lý do

  • Kho lưu trữ cung cấp ba điểm kiểm tra (checkpoint): phiên bản tiền huấn luyện, phiên bản V-Spec được khuyến nghị sử dụng (WER trên Seed-en là 1.39, CER trên Seed-zh là 1.65) và phiên bản WaveGen-Flash với 4 bước lấy mẫu
  • Mã nguồn huấn luyện, suy luận, đánh giá và bản demo Gradio cục bộ đều có sẵn, đồng thời hỗ trợ cả tiếng Trung và tiếng Anh

Cách sử dụng

  • Mã nguồn: https://github.com/sh-lee-prml/WaveGen;权重:抱脸 LeeSangHoon/WaveGen (đặt vào thư mục ckpts/)
  • Sau khi chạy pip install -e . , sử dụng wavegen_infer-cli để chỉ định --ref_audio (âm thanh tham chiếu), --ref_text (văn bản tương ứng) và --gen_text để tạo giọng nói; cũng có thể chạy python app.py để khởi động bản demo web

Rủi ro

  • Mã nguồn theo giấy phép MIT, nhưng các điểm kiểm tra theo giấy phép CC BY-NC 4.0, không được phép sử dụng cho mục đích thương mại
  • Có thể sử dụng bản ghi âm tham chiếu để nhân bản giọng nói, các tác giả yêu cầu phải có sự đồng ý của người nói và ghi rõ là do AI tạo ra, kho lưu trữ không có bộ lọc an toàn tự động
  • Phiên bản Flash chỉ cung cấp mã nguồn suy luận và trọng số, phương pháp huấn luyện chưng cất (distillation) chưa được công bố; mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo

Hugging Face Daily Papers

Xem tin AI mới nhất