nano-edge-tts

nano-edge-tts là bộ giải mã thay thế do cộng đồng phát triển cho Kokoro-82M: cách phát âm, nhịp điệu, cao độ và 28 giọng nói đều kế thừa từ Kokoro, chỉ thay thế bộ giải mã dạng sóng có 5330 triệu tham số bằng bộ tổng hợp hài kết hợp nhiễu sử dụng "chuỗi xung + nhiễu trắng" với 175 triệu tham số, không còn chạy mạng nơ-ron ở tần số lấy mẫu âm thanh. Tác giả đo được trên CPU đơn luồng của Apple M4 rằng bộ giải mã nhanh hơn khoảng 33 lần, toàn bộ quy trình nhanh hơn khoảng 11 lần, bộ nhớ đỉnh giảm từ 1.4–1.7 GB xuống còn 0.75 GB, tỷ lệ lỗi từ Whisper là 4.69% (Kokoro là 4.63%). load() trả về trực tiếp mô hình Kokoro đã được thay bộ giải mã, có thể thay thế ở bất kỳ đâu đang sử dụng Kokoro.

nano-edge-tts là bộ giải mã thay thế do cộng đồng phát triển cho Kokoro-82M: cách phát âm, nhịp điệu, cao độ và 28 giọng nói đều kế thừa từ Kokoro, chỉ thay thế bộ giải mã dạng sóng có 5330 triệu tham số bằng bộ tổng hợp hài kết hợp nhiễu sử dụng "chuỗi xung + nhiễu trắng" với 175 triệu tham số, không còn chạy mạng nơ-ron ở tần số lấy mẫu âm thanh. Tác giả đo được trên CPU đơn luồng của Apple M4 rằng bộ giải mã nhanh hơn khoảng 33 lần, toàn bộ quy trình nhanh hơn khoảng 11 lần, bộ nhớ đỉnh giảm từ 1.4–1.7 GB xuống còn 0.75 GB, tỷ lệ lỗi từ Whisper là 4.69% (Kokoro là 4.63%). load() trả về trực tiếp mô hình Kokoro đã được thay bộ giải mã, có thể thay thế ở bất kỳ đâu đang sử dụng Kokoro.

Tại sao quan trọng Phần văn bản và tất cả các giọng nói không thay đổi, chỉ thay thế bộ giải mã dạng sóng tốn thời gian nhất, mã Kokoro hiện tại hầu như không cần chỉnh sửa, phù hợp để tích hợp vào các thiết bị biên.

Hô hào thích 12 · Hô hào tăng điểm 12 · Hô hào tải xuống 82

Giấy phép: Được phép thương mại hóa · ComfyUI: Chưa có · VRAM: ≈1 GB (ước tính)

Lý do

  • Apache-2.0, giống với Kokoro-82M; kèm theo bài báo, dữ liệu thô của đánh giá trên 240 câu và 6 cặp âm thanh so sánh cùng câu
  • Toàn bộ bộ giải mã chỉ gồm một tệp Python, chỉ phụ thuộc vào PyTorch

Cách sử dụng

  • pip install kokoro==0.9.4 safetensors soundfile, hf download drmhse/nano-edge-tts --local-dir nano-edge-tts, sau đó trong thư mục này dùng from nano_edge_tts import load, tạo sinh bình thường bằng KPipeline(lang_code='a', model=load()), lưu ở tần số lấy mẫu 24000

Rủi ro

  • Chỉ được huấn luyện và đánh giá trên 28 giọng nói tiếng Anh Mỹ và Anh của Kokoro, các ngôn ngữ khác có thể chạy nhưng chưa được kiểm thử; hiệu quả tối đa chỉ ngang bằng Kokoro, không hỗ trợ tiếng Trung
  • Một số âm hữu thanh có chút âm máy móc; thử nghiệm nghe mù chỉ do một mình tác giả thực hiện, tốc độ được đo trên CPU của laptop, chưa đo trên điện thoại

Mở

抱脸 text-to-speech 上升榜

Xem tin AI mới nhất