Mô hình tổng hợp giọng nói đa nhân vật của Fish Audio, đã được ghi nhận vào ngày 23 tháng 10: một đoạn văn bản có thể được phân chia cho tối đa 16 người nói, hỗ trợ nhân bản giọng nói, cho phép kiểm soát ngữ điệu bằng các thẻ như [sighs] và ngôn ngữ tự nhiên, đồng thời có thể chỉnh sửa lời và thu âm lại dựa trên phiên bản âm thanh trước đó. Lần ghi nhận lại này là do trọng số của kho lưu trữ chính đã được thay thế hoàn toàn vào ngày 29 tháng 10.
Tăng hạng 111 · Lượt thích 1127 · Lượt tải xuống 31923
Lý do
- Nội dung mới: Vào ngày 29 tháng 10, kho lưu trữ chính đã tải lên một bộ trọng số hoàn toàn mới, số lượng phân đoạn tăng từ 8 lên 15. Mô tả đi kèm khi tải lên ghi rằng đây là trọng số của “vòng lặp RL thứ 100”, định dạng FP8 và bố cục tệp không thay đổi, nhưng mô tả này sau đó đã bị xóa. Các bản tải xuống trước ngày 29 tháng 10 cần phải tải lại để có phiên bản mới.
- Chỉnh sửa giấy phép: Vào ngày 23 tháng 10, mục này đã từng viết rằng “không thể mở LICENSE.md, không thể kiểm tra các điều khoản thương mại”. Thực tế, tệp LICENSE trong kho lưu trữ có thể đọc được, đó là giấy phép cộng đồng Fish Audio 1.0: miễn phí cho nghiên cứu và phi thương mại; cá nhân hoặc công ty có doanh thu hàng năm dưới 50 triệu USD có thể sử dụng thương mại miễn phí; nếu cung cấp API TTS hoặc dịch vụ lưu trữ cho bên ngoài, bất kể quy mô, đều phải ký một thỏa thuận riêng.
- Báo cáo kỹ thuật (arXiv 2610.18010) cho biết, trong giai đoạn học tăng cường, chỉ sử dụng một mô hình sở thích của con người được học để làm phần thưởng; công cụ suy luận giải mã 271 khung hình mỗi giây trên một luồng đơn với một GPU H200, trong khi Fish Audio S2 đạt 177 khung hình (đều là số liệu do nhà phát hành công bố).
Cách sử dụng
- SGLang-Omni: git clone sgl-project/sglang-omni, uv pip install --prerelease=allow -e ".[fishaudio]", sau đó chạy sgl-omni serve --model-path fishaudio/drama-3 --port 8000. Cũng có thể sử dụng vLLM-Omni: vllm serve fishaudio/drama-3 --omni --port 8091.
- Gọi /v1/tts: trong phần references, truyền âm thanh tham chiếu và bản ghi lời để nhân bản giọng nói; trong văn bản, sử dụng <|speaker:0|> đến <|speaker:15|> để phân công vai diễn, chèn các thẻ như [sighs], [laughs] vào vị trí cần phát âm. Khi chỉnh sửa lời và thu âm lại, hãy đặt văn bản cũ vào previous_takes, có thể chỉnh sửa liên tiếp nhiều lần.
- Khi có nhiều yêu cầu đồng thời, khuyến nghị chính thức là đặt bộ mã hóa giọng nói (vocoder) trên GPU thứ hai: với 256 luồng đồng thời, thông lượng tăng khoảng 72%, độ trễ gói đầu tiên trung vị giảm 37%.
Rủi ro
- Việc thay đổi trọng số không có ghi chú cập nhật, cũng không có so sánh giữa phiên bản cũ và mới, những gì đã thay đổi và lợi ích cụ thể đều không được nhà phát triển công bố; mục này chưa nghe qua các mẫu của phiên bản cũ và mới.
- Đầu trang mô hình vẫn liên kết đến LICENSE.md không tồn tại, cần xem các điều khoản trong tệp LICENSE trong kho lưu trữ; dịch vụ lưu trữ / API, cũng như sử dụng thương mại có doanh thu hàng năm vượt quá 50 triệu USD, đều phải ký một thỏa thuận riêng.
- Trọng số chính khoảng 39.6 GB (các lớp chuyên gia là FP8), các bài kiểm tra tốc độ chính thức đều thực hiện trên H200, chưa có thông tin về khả năng chạy trên card đồ họa tiêu dùng; hiện tại chưa hỗ trợ ComfyUI.