Fish Audio Drama 3: Tổng hợp giọng nói cho tối đa mười sáu nhân vật trong một đoạn văn bản

Fish Audio là mô hình chuyển văn bản thành giọng nói thế hệ mới dành cho các kịch bản đa nhân vật và nội dung dài. Phần lõi xử lý văn bản sử dụng kiến trúc MoE (tổng số tham số 350 tỷ, kích hoạt 30 tỷ tham số mỗi token, kết hợp cơ chế chú ý toàn phần và chú ý tuyến tính), bộ giải mã âm thanh giải mã nhân quả theo 10 bảng mã; sử dụng các nhãn từ <|speaker:0|> đến <|speaker:15|>, một đoạn văn bản có thể được phân chia cho tối đa 16 nhân vật. Hỗ trợ sao chép giọng nói, chèn các nhãn sự kiện như [sighs], [laughs] vào văn bản, đồng thời cho phép sử dụng văn bản của bản thu trước đó làm ngữ cảnh và chỉ thay đổi một từ để tạo lại. Nhà phát triển công bố rằng trên một card H200, độ trễ gói âm thanh đầu tiên cho một luồng khoảng 89 mili giây, khi chạy song song 16 luồng, tốc độ sinh vẫn đạt khoảng 2.7 lần tốc độ phát.

Tên gốc: fishaudio/drama-3

Fish Audio là mô hình chuyển văn bản thành giọng nói thế hệ mới dành cho các kịch bản đa nhân vật và nội dung dài. Phần lõi xử lý văn bản sử dụng kiến trúc MoE (tổng số tham số 350 tỷ, kích hoạt 30 tỷ tham số mỗi token, kết hợp cơ chế chú ý toàn phần và chú ý tuyến tính), bộ giải mã âm thanh giải mã nhân quả theo 10 bảng mã; sử dụng các nhãn từ <|speaker:0|> đến <|speaker:15|>, một đoạn văn bản có thể được phân chia cho tối đa 16 nhân vật. Hỗ trợ sao chép giọng nói, chèn các nhãn sự kiện như [sighs], [laughs] vào văn bản, đồng thời cho phép sử dụng văn bản của bản thu trước đó làm ngữ cảnh và chỉ thay đổi một từ để tạo lại. Nhà phát triển công bố rằng trên một card H200, độ trễ gói âm thanh đầu tiên cho một luồng khoảng 89 mili giây, khi chạy song song 16 luồng, tốc độ sinh vẫn đạt khoảng 2.7 lần tốc độ phát.

Tại sao quan trọng Phù hợp cho sách nói, kịch phát thanh và lồng tiếng hội thoại nhiều người; chỉ cần thay đổi một từ mà không phải thu lại toàn bộ đoạn, độ trễ gói âm thanh đầu tiên cho một luồng dưới 100 mili giây

Điểm tăng 59 · Lượt thích 1249 · Lượt tải xuống 46208

Lý do

  • Chuyển đổi giữa nhiều người nói trong cùng một đoạn văn bản, tự động phân đoạn văn bản dài và hỗ trợ xuất luồng theo từng đoạn, phù hợp cho kịch phát thanh, sách nói và hội thoại nhiều người
  • “Chỉnh sửa kiểu viết tiếp”: đưa các phiên bản trước vào previous_takes, chỉ thay đổi những từ cần thiết, cho phép chỉnh sửa liên tục nhiều lần
  • Hỗ trợ ngay từ ngày đầu tiên bởi SGLang-Omni và vLLM-Omni, kèm theo báo cáo kỹ thuật và bảng hiệu năng ở các mức độ đồng thời khác nhau

Cách sử dụng

  • SGLang-Omni: Cài đặt các phụ thuộc bổ sung của fishaudio rồi chạy sgl-omni serve --model-path fishaudio/drama-3; hoặc chạy vllm serve fishaudio/drama-3 --omni
  • Trong yêu cầu, cung cấp âm thanh tham chiếu và văn bản tương ứng trong trường references để sao chép giọng, đồng thời viết trực tiếp các nhãn như [sighs], [laughs] vào văn bản để điều khiển biểu cảm

Rủi ro

  • Giấy phép cộng đồng Fish Audio: Miễn phí cho nghiên cứu và phi thương mại; được phép sử dụng thương mại nếu doanh thu hàng năm dưới 50 nghìn đô la Mỹ; cần ký giấy phép riêng nếu cung cấp dịch vụ lưu trữ TTS / sao chép giọng nói cho bên ngoài
  • Dữ liệu hiệu năng do nhà phát triển đo lường trên card H200
  • Cần xin phép trước khi sử dụng giọng nói của người khác
  • Mục này chưa được chạy thử, kết quả thực tế phụ thuộc vào thẻ mô hình

Mở

Hugging Face Trending

Xem tin AI mới nhất