Cập nhật Sophon-Realtime v1: Phiên bản E2E chuyển sang bản chính thức chạy trên một card

Gia đình mô hình giọng nói song công toàn phần mã nguồn mở của Adventists AI (AI Adventists), đã được ghi nhận vào 11-10. Ba phiên bản cùng chia sẻ một "bộ não" 32B chịu trách nhiệm nghe, xác định lượt hội thoại và viết phản hồi; điểm khác biệt chỉ nằm ở cách phản hồi được chuyển thành âm thanh: Tag sử dụng mô hình giọng nói có tính biểu cảm cao hơn, Flash nhanh hơn và hỗ trợ nhiều luồng đồng thời trên một card, còn E2E sử dụng một đầu nói (speaking head) với khoảng 3.5 tỷ tham số để trực tiếp tạo ra các vector âm thanh liên tục. Các tiến triển sau 11-10: 11-11 Phiên bản E2E (1.1.3) chuyển từ bản xem trước sang bản chính thức, giảm yêu cầu từ hai card xuống còn một card 80GB; 11-12 (1.1.4) E2E cũng có thể được triển khai như một mô hình vLLM-Omni, với lệnh và giao diện giống hệt Tag và Flash; 11-13 (1.2.0) các phản hồi dài không còn bị cắt ngắn ở khoảng 2 phút; 11-14 (1.3.0) E2E hỗ trợ nhân bản giọng nói zero-shot, chỉ cần cung cấp bản ghi âm từ 5–12 giây, trọng số mô hình không thay đổi.

Tiêu đề gốc: adventists-ai/Sophon-Realtime-v1

Gia đình mô hình giọng nói song công toàn phần mã nguồn mở của Adventists AI (AI Adventists), đã được ghi nhận vào 11-10. Ba phiên bản cùng chia sẻ một "bộ não" 32B chịu trách nhiệm nghe, xác định lượt hội thoại và viết phản hồi; điểm khác biệt chỉ nằm ở cách phản hồi được chuyển thành âm thanh: Tag sử dụng mô hình giọng nói có tính biểu cảm cao hơn, Flash nhanh hơn và hỗ trợ nhiều luồng đồng thời trên một card, còn E2E sử dụng một đầu nói (speaking head) với khoảng 3.5 tỷ tham số để trực tiếp tạo ra các vector âm thanh liên tục. Các tiến triển sau 11-10: 11-11 Phiên bản E2E (1.1.3) chuyển từ bản xem trước sang bản chính thức, giảm yêu cầu từ hai card xuống còn một card 80GB; 11-12 (1.1.4) E2E cũng có thể được triển khai như một mô hình vLLM-Omni, với lệnh và giao diện giống hệt Tag và Flash; 11-13 (1.2.0) các phản hồi dài không còn bị cắt ngắn ở khoảng 2 phút; 11-14 (1.3.0) E2E hỗ trợ nhân bản giọng nói zero-shot, chỉ cần cung cấp bản ghi âm từ 5–12 giây, trọng số mô hình không thay đổi.

Tại sao quan trọng Liên tục cập nhật sau lần ghi nhận trước: Phiên bản E2E có thể được triển khai với cùng một bộ giao diện như Tag và Flash, các phản hồi dài được hoàn thành trọn vẹn, và có thêm giao diện lưu trữ dùng thử miễn phí

Điểm tăng 158 · Lượt thích 210 · Lượt tải 0

Lý do

  • Nhà phát triển tuyên bố rằng bộ não chung của ba phiên bản đạt 82.8 trên VoiceBench và 81.8% trên Big Bench Audio, đứng đầu trong số các mô hình song công toàn phần mã nguồn mở; độ trễ gói đầu tiên cho một luồng của E2E là khoảng 0.25 giây, khuyến nghị số luồng đồng thời trên một card là 16
  • Nhà phát triển cung cấp đánh giá về âm thanh phi ngôn ngữ cho E2E: NVV-SuperBench đạt 0.85 cho tiếng Trung và 0.75 cho tiếng Anh (tổng hợp bốn loại: cười, ho, thở dài, thở)
  • Trang chủ bổ sung giao diện lưu trữ, đăng ký tặng 3 giờ hội thoại giọng nói, tương thích với giao thức OpenAI Realtime, có thể dùng thử mà không cần card đồ họa

Cách dùng

  • Cách triển khai E2E bằng vLLM-Omni: git clone thư mục https://github.com/adventists-ai/sophon-realtime,进 e2e/ rồi chạy bash install.sh (khoảng 41GB), sau đó chạy GPU=0 PORT=8000 bash start.sh, giao diện là /v1/realtime và /v1/chat/completions
  • Nếu ưu tiên tính biểu cảm hãy chọn Tag, nếu ưu tiên số luồng đồng thời trên một card hãy chọn Flash (sau khi pip install "sophon-realtime[trt]" thì chạy sophon-realtime serve); chế độ Live tương thích với giao thức OpenAI GPT-Live, có thể chuyển giao các truy vấn và thao tác cho các mô hình backend lớn hơn

Rủi ro

  • Yêu cầu card đồ họa cấp H100 với 80GB (E2E thực tế chiếm khoảng 70GB); nhà phát triển tuyên bố rằng trên RTX PRO 6000, E2E chỉ có thể theo kịp khoảng 4–8 luồng đồng thời
  • Phiên bản E2E chỉ hỗ trợ hai ngôn ngữ: Trung và Anh; các đánh giá là do nhà phát triển tự báo cáo, một số điểm so sánh được lấy từ các bảng xếp hạng của bên thứ ba
  • Nhân bản giọng nói zero-shot yêu cầu mã 1.3.0 trở lên và chỉ khả dụng khi triển khai theo cách vLLM-Omni; mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất