Tiêu đề gốc: Zyphra/ZONOS3-Mini
Mô hình chuyển văn bản thành giọng nói mã nguồn mở của Zyphra, tổng số tham số 8 tỷ, cấu trúc MoE kích hoạt khoảng 1 tỷ tham số mỗi token, hỗ trợ 43 ngôn ngữ (bao gồm tiếng Quan Thoại, tiếng Nhật, tiếng Hàn). Có thể nhân bản giọng nói bằng một đoạn âm thanh tham chiếu (dài tối đa 60 giây), hoặc sử dụng vector người nói để điều chỉnh âm sắc nhân vật, đồng thời kiểm soát theo mức độ âm lượng, băng thông và tốc độ nói; hãng tuyên bố còn có thể kiểm soát cảm xúc và nhịp điệu đến từng từ. Đầu ra là âm thanh 44.1 kHz, thời lượng tạo ra tối đa 10 phút mỗi lần; hãng tuyên bố trên một card H100 với 8 luồng đồng thời, độ trễ trung vị của gói âm thanh đầu tiên là 80 mili giây, thông lượng đỉnh đạt 457 giây âm thanh được tạo ra mỗi giây.
Tại sao quan trọng Có thể nhân bản giọng nói bằng card đồ họa cục bộ ngay trong trình duyệt, đồng thời kiểm soát cảm xúc và tốc độ nói theo từng từ, trọng số được cấp phép Apache cho phép sử dụng thương mại
Điểm tăng 83 · Lượt thích 84 · Lượt tải 856
Lý do
- Kích thước nhỏ gọn, hãng tuyên bố có thể chạy thời gian thực trên điện thoại, laptop và trình duyệt; phiên bản trình duyệt sử dụng WebGPU, không cần cài đặt, không cần máy chủ
- Đa dạng phương thức triển khai: SGLang-Omni cung cấp giao diện /v1/audio/speech tương thích OpenAI và hỗ trợ xuất dữ liệu theo luồng, hãng còn cung cấp các runtime CUDA, MLX (chip Apple), C++/ggml và WebGPU, kèm theo 27 âm sắc mặc định
- Trọng số được cấp phép Apache-2.0, cho phép sử dụng thương mại
Cách sử dụng
- Mở trang Zonos Voice Studio hoặc Lite chính thức trong trình duyệt để dùng thử trực tiếp (yêu cầu trình duyệt hỗ trợ WebGPU, lần truy cập đầu tiên sẽ tải mô hình)
- Máy chủ: Sau khi cài đặt SGLang-Omni, chạy lệnh sgl-omni serve --model-path Zyphra/ZONOS3-Mini; thêm tham số references trong yêu cầu để chỉ định âm thanh tham chiếu nhằm nhân bản giọng nói, thêm "stream": true để xuất dữ liệu theo luồng
Rủi ro
- So sánh về chất lượng và tốc độ được hãng đo lường trên bộ đánh giá ZTTS2-Eval nội bộ, bài đánh giá đầy đủ có trên blog chính thức
- Nhân bản giọng nói có thể bị lạm dụng, cần xin phép trước khi sử dụng giọng nói của người khác
- Mục này chưa được chạy thử, hiệu quả thực tế phụ thuộc vào thẻ mô hình