Voice Isolator: Mô hình tách giọng nói mã nguồn mở của Inworld

Mô hình tách giọng nói v1 do Inworld tải lên vào ngày 14 tháng 11, hai điểm kiểm tra (checkpoint) dùng chung một kiến trúc: phiên bản ngoại tuyến voice-isolator-v1 (64M tham số, mỗi khung hình có thể nhìn thấy toàn bộ đoạn 8 giây) dùng cho ghi âm, phiên bản thời gian thực voice-isolator-v1-realtime (58M tham số, dòng chảy nhân quả, độ trễ thuật toán 63 ms khi nhìn trước 20 ms) dùng cho phát trực tiếp và gọi điện. Đầu vào là đơn kênh 48 kHz, đầu ra gồm hai luồng: giọng nói và nền bị loại bỏ, tổng của hai luồng này chính là đầu vào gốc. v1 chỉ khử nhiễu, không khôi phục các dải tần bị thiếu trong bản ghi âm (chức năng phục hồi dự kiến sẽ có trong v2). Mã nguồn và trọng số đều theo giấy phép Apache-2.0.

Tiêu đề gốc: inworld/voice-isolator

Mô hình tách giọng nói v1 do Inworld tải lên vào ngày 14 tháng 11, hai điểm kiểm tra (checkpoint) dùng chung một kiến trúc: phiên bản ngoại tuyến voice-isolator-v1 (64M tham số, mỗi khung hình có thể nhìn thấy toàn bộ đoạn 8 giây) dùng cho ghi âm, phiên bản thời gian thực voice-isolator-v1-realtime (58M tham số, dòng chảy nhân quả, độ trễ thuật toán 63 ms khi nhìn trước 20 ms) dùng cho phát trực tiếp và gọi điện. Đầu vào là đơn kênh 48 kHz, đầu ra gồm hai luồng: giọng nói và nền bị loại bỏ, tổng của hai luồng này chính là đầu vào gốc. v1 chỉ khử nhiễu, không khôi phục các dải tần bị thiếu trong bản ghi âm (chức năng phục hồi dự kiến sẽ có trong v2). Mã nguồn và trọng số đều theo giấy phép Apache-2.0.

Tại sao quan trọng Giấy phép Apache cho phép sử dụng thương mại, phiên bản thời gian thực có độ trễ thấp đủ để dùng cho gọi điện và phát trực tiếp; có thể làm sạch bản ghi âm, tổ chức dữ liệu giọng nói, phần dư nền còn có thể dùng để tách nhạc nền

Điểm tăng 56 · Lượt thích 60 · Lượt tải 0

Lý do

  • Kiến trúc là mạng hai luồng phân tách theo dải tần trên STFT: mỗi khung hình được chia thành 46 dải tần, 4 khối attention cộng với 3 khối Mamba, đầu ra là mặt nạ phức có giới hạn và phần dư
  • Theo thông tin chính thức, quá trình huấn luyện sử dụng khoảng 10,000 giờ âm thanh, bao gồm đọc và hội thoại đa ngôn ngữ, lồng tiếng nhân vật, thì thầm, hát, đồng thời giữ lại tiếng cười, hơi thở và tiếng thở dài của chính người nói
  • Khi hai người nói cùng lúc, mô hình giữ lại người có âm lượng lớn hơn; nếu âm lượng gần bằng nhau, thường giữ lại cả hai; mô hình không chọn lọc theo người nói được chỉ định

Cách sử dụng

  • pip install inworld-voice-isolation, sau đó chạy voice-isolate in.wav out.wav (lần đầu sử dụng sẽ tự động tải mô hình ngoại tuyến và xác thực hash), phần nền bị loại bỏ được lưu riêng thành out_background.wav; --no-background chỉ lưu giọng nói, --output-sr 0 giữ nguyên tốc độ lấy mẫu gốc
  • Dòng chảy (streaming): Gọi VoiceIsolator("inworld/voice-isolator", mode="streaming", lookahead_frames=2) rồi gọi stream(), đẩy 960 mẫu mỗi 20 ms, gọi flush() khi kết thúc; thêm --mode streaming --lookahead 2 vào dòng lệnh
  • Dùng CUDA nếu có, dùng mps trên Mac chip Apple (yêu cầu PyTorch 2.6 trở lên), nếu không thì dùng CPU; GitHub inworld-ai/voice-isolator có demo tương tác và mô tả benchmark, AGENTS.md có thể giao cho các lập trình viên AI để cài đặt theo hướng dẫn

Rủi ro

  • Chính thức chỉ được kiểm thử trên A100, H100, B200, B300 và CPU, chưa kiểm thử trên các card đồ họa nhỏ
  • Biểu đồ điểm chuẩn VIBE trong thẻ đến từ bộ dữ liệu đánh giá nội bộ của Inworld, bộ dữ liệu này không công khai
  • Chỉ khử nhiễu, không phục hồi: các dải tần bị mất trong bản ghi âm gốc sẽ không được khôi phục. Mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất