SAVA: Mô hình phát hiện hoạt động giọng nói và kết thúc lượt nói của Inworld

Inworld tải lên vào ngày 14 tháng 11 (cùng nhà cung cấp với Voice Isolator đã thu thập hôm qua). SAVA đọc âm thanh đơn kênh thời gian thực ở tần số 16 kHz, xuất ra hai xác suất mỗi 40 ms: liệu khung hình này có phải là giọng nói hay không (với độ trễ trước 120 ms, được cung cấp muộn hơn 120 ms), và liệu người nói đã kết thúc lượt nói hiện tại hay chưa (không có độ trễ trước). Mạng chia sẻ sử dụng đồng thời ngữ cảnh âm học và câu để phân biệt giữa giọng nói với tiếng ho, tiếng cười, nhạc và tiếng gõ bàn phím. Mô hình có 25.5M tham số, cấu trúc bao gồm các đặc trưng log-mel nhân quả, phần thân chính gồm 3 khối Mamba-2 cộng với 1 khối attention, sau đó nối tiếp hai đầu ra cho giọng nói và kết thúc lượt nói. Theo thông tin chính thức, quá trình huấn luyện sử dụng khoảng 5,000 giờ giọng thoại hội thoại thực tế và tổng hợp, trộn lẫn với các âm thanh phi ngôn ngữ của con người, nhiễu, nhạc và tiếng vang phòng. Mã nguồn và trọng số được cấp phép theo Apache-2.0.

Tiêu đề gốc: inworld/sava

Inworld tải lên vào ngày 14 tháng 11 (cùng nhà cung cấp với Voice Isolator đã thu thập hôm qua). SAVA đọc âm thanh đơn kênh thời gian thực ở tần số 16 kHz, xuất ra hai xác suất mỗi 40 ms: liệu khung hình này có phải là giọng nói hay không (với độ trễ trước 120 ms, được cung cấp muộn hơn 120 ms), và liệu người nói đã kết thúc lượt nói hiện tại hay chưa (không có độ trễ trước). Mạng chia sẻ sử dụng đồng thời ngữ cảnh âm học và câu để phân biệt giữa giọng nói với tiếng ho, tiếng cười, nhạc và tiếng gõ bàn phím. Mô hình có 25.5M tham số, cấu trúc bao gồm các đặc trưng log-mel nhân quả, phần thân chính gồm 3 khối Mamba-2 cộng với 1 khối attention, sau đó nối tiếp hai đầu ra cho giọng nói và kết thúc lượt nói. Theo thông tin chính thức, quá trình huấn luyện sử dụng khoảng 5,000 giờ giọng thoại hội thoại thực tế và tổng hợp, trộn lẫn với các âm thanh phi ngôn ngữ của con người, nhiễu, nhạc và tiếng vang phòng. Mã nguồn và trọng số được cấp phép theo Apache-2.0.

Tại sao quan trọng Một mô hình nhỏ thực hiện đồng thời hai nhiệm vụ, có thể chạy trên CPU với giấy phép Apache; khả năng phân biệt giọng người với tiếng ho, tiếng cười, nhạc và tiếng gõ bàn phím

Điểm tăng 38 · Lượt thích 57 · Lượt tải xuống 0

Lý do

  • Chính thức được kiểm thử trên CPU của Apple M3 Max: mỗi khung âm thanh đơn kênh mất 3.8 ms cho mỗi 40 ms; cũng đã được kiểm thử trên NVIDIA Ampere, Hopper và Blackwell
  • So sánh phát hiện hoạt động giọng nói với Silero VAD, so sánh phát hiện kết thúc lượt nói với pipecat smart-turn v3.2, cung cấp AUC riêng cho từng tập dữ liệu mà không xếp hạng tổng hợp; chính thức lưu ý rằng SAVA có độ trễ trước 120 ms, nên độ trễ không tương đương
  • Kho lưu trữ kèm theo chiến lược lượt nói tham khảo, cắt hai đường cong xác suất thành các đoạn phát biểu; ứng dụng cũng có thể thay thế bằng chiến lược riêng của mình

Cách sử dụng

  • pip install inworld-sava (Python 3.10 trở lên), sava run recording.wav; thêm --turns_dir turns/ để xuất các đoạn phát biểu đã cắt, --curves curves.json để lưu đường cong xác suất; để nhập từ micro, cài đặt inworld-sava[mic] rồi chạy sava mic
  • Python: sava.load("inworld/sava") để tải mô hình (tự động tải xuống và xác minh hash lần đầu), sava.run để nhận đường cong, sava.segment để cắt đoạn theo sava.Policy(); để xử lý luồng, dùng sava.Session(model), push() mỗi khi nhận một đoạn âm thanh 16 kHz, flush() khi kết thúc
  • Mặc định sử dụng CPU, --device để chỉ định thiết bị khác; GitHub inworld-ai/sava có hướng dẫn tích hợp, bảng chuẩn đầy đủ, AGENTS.md có thể giao cho các tác nhân lập trình để cài đặt theo

Rủi ro

  • Phản hồi với bất kỳ giọng người nào, không chọn lọc người nói cụ thể; cách xử lý xen ngang và các âm thanh xác nhận như "ừm", "à" phụ thuộc vào chiến lược hội thoại của ứng dụng
  • Chính thức cho biết rằng tiếng ồn yên tĩnh giống giọng người có thể gây kích hoạt sai (ESC-50 được kiểm thử chính là loại lỗi này); các bài kiểm tra chuẩn do chính hãng tự thực hiện
  • Công thức huấn luyện, mã nguồn và dữ liệu không được công khai. Mục này chưa được chạy

Mở

Hugging Face Trending

Xem tin AI mới nhất