Tên gốc: adventists-ai/Sophon-Realtime-v1
Trang chủ gia đình mô hình hội thoại giọng nói song công toàn phần của Adventists AI. Ba phiên bản cùng sử dụng một mô hình 32B để nghe, xác định lượt nói và viết phản hồi, khác biệt chỉ nằm ở phương thức phát âm: Tag (được khuyến nghị) cho phép mô hình viết ra các phản hồi kèm theo dấu hiệu giọng nói, sau đó được thể hiện bởi mô hình giọng nói giàu biểu cảm với tiếng cười, tiếng thở dài, tiếng hắng giọng, v.v.; Flash thay thế bằng một mô hình giọng nói nhẹ nhàng và nhanh nhẹn hơn, theo thông tin chính thức thì độ trễ gói âm thanh đầu tiên cho mỗi người dùng là 0.31 giây; E2E là bản xem trước nghiên cứu end-to-end. Theo thông tin chính thức, điểm VoiceBench đạt 82.8, Big Bench Audio đạt 81.8%, xếp thứ nhất trong số các mô hình song công toàn phần mã nguồn mở. Hỗ trợ tính năng ngắt lời và phản hồi phụ họa, ngoài ra còn có cổng giao tiếp tương thích với giao thức OpenAI GPT-Live, cho phép chuyển các truy vấn và thao tác sang mô hình ngôn ngữ lớn phía backend.
Tại sao quan trọng Hiếm thấy trong lĩnh vực hội thoại giọng nói thời gian thực mã nguồn mở một mô hình có khả năng nhận biết ngữ điệu và phản hồi bằng tiếng cười, tiếng thở dài; có thể triển khai trên một GPU đơn lẻ và được phép sử dụng thương mại
Điểm tăng 63 · Lượt thích 65 · Lượt tải xuống 0
Lý do
- Có khả năng nhận biết các thông tin ngữ điệu như sự do dự, nhấn mạnh, mỉa mai, tiếng cười, v.v., và phản hồi với ngữ điệu tương ứng
- Các phiên bản Tag và Flash được nhà phát hành tuyên bố chỉ cần một card đồ họa 80 GB và một lệnh duy nhất để khởi động dịch vụ bằng vLLM-Omni
- Mã nguồn và trọng số theo giấy phép Apache-2.0, cho phép sử dụng thương mại; hỗ trợ tinh chỉnh LoRA để điều chỉnh nhân vật, ngữ điệu và kiến thức chuyên ngành
Cách sử dụng
- Sau khi chạy pip install sophon-realtime, hãy thực thi lệnh sophon-realtime serve (lần đầu tiên sẽ tải xuống khoảng 42 GB trọng số phiên bản Tag)
- Nếu chỉ muốn nghe thử, có thể sử dụng không gian sáng tạo trực tuyến trên ModelScope để hội thoại; các trọng số triển khai nằm trong hai kho lưu trữ Sophon-Realtime-32B-Tag / Flash
Rủi ro
- Kho lưu trữ này là trang chủ của gia đình mô hình, việc triển khai cần sử dụng trọng số từ kho Tag hoặc Flash, còn nền tảng tinh chỉnh được đặt trên ModelScope
- Các bài đánh giá phần lớn do nhà phát hành tự thực hiện và được chấm điểm bởi mô hình ngôn ngữ lớn
- Mục này chưa được chạy thử nghiệm, hiệu quả thực tế hãy tham khảo thẻ mô hình