Sophon-Realtime-4B-Flash

Sophon-Realtime-4B-Flash là mô hình hội thoại giọng nói song công toàn phần do adventists-ai mã nguồn mở: nó luôn lắng nghe khi bạn nói, xác định xem bạn đã nói xong hay chưa dựa trên âm thanh, sau đó vừa viết phản hồi kèm các nhãn âm thanh như [laughter], [sigh] vừa bắt đầu nói, được đọc bởi một mô hình giọng nói nhẹ hơn với tốc độ một khung hình mỗi 80 mili giây. Nhà phát triển chính thức cho biết có thể chạy trên một card đồ họa 24 GB (chiếm khoảng 21 GB), trên RTX PRO 6000 đoạn âm thanh đầu tiên xuất hiện sau khoảng 0.21 giây, điểm trung bình của bốn hạng mục trong Full-Duplex-Bench v1.0 là 87.7. Nó được triển khai như một mô hình vLLM-Omni, cung cấp các giao diện /v1/realtime và /v1/chat/completions; cùng dòng sản phẩm còn có phiên bản Tag với khả năng biểu cảm tốt hơn và phiên bản E2E end-to-end (đều yêu cầu card đồ họa 32 GB).

Sophon-Realtime-4B-Flash là mô hình hội thoại giọng nói song công toàn phần do adventists-ai mã nguồn mở: nó luôn lắng nghe khi bạn nói, xác định xem bạn đã nói xong hay chưa dựa trên âm thanh, sau đó vừa viết phản hồi kèm các nhãn âm thanh như [laughter], [sigh] vừa bắt đầu nói, được đọc bởi một mô hình giọng nói nhẹ hơn với tốc độ một khung hình mỗi 80 mili giây. Nhà phát triển chính thức cho biết có thể chạy trên một card đồ họa 24 GB (chiếm khoảng 21 GB), trên RTX PRO 6000 đoạn âm thanh đầu tiên xuất hiện sau khoảng 0.21 giây, điểm trung bình của bốn hạng mục trong Full-Duplex-Bench v1.0 là 87.7. Nó được triển khai như một mô hình vLLM-Omni, cung cấp các giao diện /v1/realtime và /v1/chat/completions; cùng dòng sản phẩm còn có phiên bản Tag với khả năng biểu cảm tốt hơn và phiên bản E2E end-to-end (đều yêu cầu card đồ họa 32 GB).

Tại sao quan trọng Phiên bản 32B cùng dòng yêu cầu card đồ họa lớn hơn; phiên bản 4B giữ lại các nhãn âm thanh như xen lời, đáp lời và cười, thở dài, phù hợp cho trò chuyện và nhập vai cục bộ, nhưng kiến thức kém hơn nhiều.

Hugging Face Likes 6 · Hugging Face Trending Score 5 · Hugging Face Downloads 31

Giấy phép: Có thể sử dụng thương mại · ComfyUI: Chưa có · VRAM: 32 GB

Lý do

  • Giấy phép Apache-2.0, có thể tải xuống từ Hugging Face và ModelScope, có không gian demo trực tuyến trên Hugging Face
  • Thẻ mô hình ghi rõ khoảng cách điểm số, điều kiện đo lường và kịch bản sử dụng phù hợp giữa phiên bản 4B và 32B

Cách sử dụng

  • Sau khi git clone https://github.com/adventists-ai/sophon-realtime, vào thư mục flash và chạy bash install.sh; hf download adventists-ai/Sophon-Realtime-4B-Flash --local-dir ./model, sau đó chạy GPU=0 PORT=8000 bash start.sh, sử dụng python client_example.py --url http://127.0.0.1:8000 để trò chuyện

Rủi ro

  • Nhà phát triển chính thức cho biết kiến thức và khả năng suy luận của phiên bản 4B kém hơn nhiều so với phiên bản 32B (VoiceBench 62.4 so với 82.8), mô hình có thể tự tin đưa ra thông tin sai lệch, cần sử dụng phiên bản 32B khi cần độ chính xác cao
  • Chỉ xử lý giọng nói, không có thị giác; hỗ trợ nhân bản giọng nói zero-shot, chỉ có thể nhân bản giọng nói của chính bạn hoặc giọng nói đã được cấp phép; API lưu trữ được đề xuất ở đầu thẻ mô hình là dịch vụ trả phí chính thức

Mở

抱脸 any-to-any 上升榜

Xem tin AI mới nhất