Tiêu đề gốc: nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
Mô hình ngôn ngữ lớn ngoại tuyến về giọng nói / âm thanh (SALM) của NVIDIA: Bộ mã hóa ASR Transformer và bộ mã hóa người nói Nemotron-3-Diarization đưa âm thanh vào mô hình ngôn ngữ MoE hỗn hợp Mamba-Transformer Nemotron-3.5 Lightning 30B-A3B, với tổng số tham số là 34B và khoảng 4.3B tham số được kích hoạt (bao gồm cả bộ mã hóa âm thanh). Hỗ trợ chuyển đổi giọng nói thành văn bản cho 40 ngôn ngữ, ghi âm tối đa 1 giờ (ngữ cảnh 65,536 token), sử dụng chỉ dẫn để chọn phong cách chuyển đổi (chuyển đổi nguyên văn bao gồm cả từ đệm, chỉnh sửa thành văn bản dễ đọc, kèm thuật ngữ chuyên ngành, ai đã nói gì và khi nào), đồng thời có thể thực hiện dịch giọng nói, nhận diện ngôn ngữ và hỏi đáp về âm thanh, tùy chọn cung cấp dấu thời gian theo từng từ. Đồng thời phát hành các phiên bản FP8, NVFP4 và một mô hình nháp giải mã suy đoán DFlash2. Ngày phát hành ghi trên thẻ là ngày 28 tháng 10, chưa được đưa vào trong các số trước đó.
Điểm tăng thêm 334.5 · Lượt thích 3057 · Lượt tải xuống 57297
Lý do
- Theo thông tin chính thức, chỉ số cpWER trung bình cho việc chuyển đổi toàn bộ cuộc họp đa người nói (AMI, CALLHOME, Mixer 6, NOTSOFAR-1) là 15.80, thấp hơn kết quả công khai tốt nhất trước đó là 16.83; trong số các mô hình có trọng số mở, điểm WER trung bình trên 9 bộ dữ liệu công khai của bảng xếp hạng Open ASR tiếng Anh là 4.71, đối với âm thanh dài là 10.98, và trên bảng xếp hạng đa ngôn ngữ gồm 7 ngôn ngữ là 4.62, tất cả đều là mức thấp nhất trong bảng (kết quả tính đến ngày 12 tháng 10).
- Một mô hình duy nhất thay thế nhiều bộ công cụ cho chuyển đổi, phân tách người nói và dịch thuật: thẻ mô hình cung cấp nguyên văn các chỉ dẫn tương ứng với từng nhu cầu (ví dụ: chỉ chuyển đổi người gần micro nhất, thêm bảng thuật ngữ), phù hợp cho biên bản cuộc họp, phụ đề, phân tích ghi âm chăm sóc khách hàng và truy xuất âm thanh.
- Có thể thực hiện ngay: Ví dụ chính thức sử dụng vLLM 0.32.0 + NeMo Speech trên một GPU H100 80 GB để khởi động dịch vụ tương thích OpenAI, cũng có thể gọi trong cùng tiến trình bằng phiên bản Transformers từ mã nguồn; giấy phép là OpenMDW-1.1, thẻ mô hình ghi rõ được phép sử dụng thương mại. Lượt thích trên Hugging Face là 3057 (chỉ phản ánh mức độ quan tâm).
Cách dùng
- vLLM: Cài đặt vLLM 0.32.0 và nhánh chính của NeMo Speech theo hướng dẫn Environment Setup trong thẻ mô hình, thiết lập các biến môi trường VLLM_PLUGINS=nemo_speechlm, VLLM_MAX_AUDIO_DECODE_DURATION_S=3600, VLLM_USE_V2_MODEL_RUNNER=0 (cần thiết cho dấu thời gian theo từ), sau đó khởi động bằng toàn bộ lệnh vllm serve trong phần Quick Start (bao gồm --max-model-len 65536 và cấu hình giải mã suy đoán MTP); phía client sử dụng API chat.completions của OpenAI, đặt tệp wav base64 vào trường audio_url, văn bản yêu cầu là "Transcribe the following audio.", thiết lập temperature 0 và tắt enable_thinking.
- Transformers: Cài đặt bằng lệnh pip install git+https://github.com/huggingface/transformers，AutoModelForMultimodalLM và tải mô hình bằng AutoProcessor, sau đó gọi processor.apply_transcription_request(âm thanh) rồi generate.
- Đối với chuyển đổi, dịch thuật và nhận diện ngôn ngữ, sử dụng temperature 0 và tắt suy luận, để trống lời nhắc hệ thống; đối với hỏi đáp về âm thanh, sử dụng temperature 0.6, top_p 0.95 và bật suy luận.
Rủi ro
- Tiếng Quan thoại Trung Quốc chỉ được xếp vào mức "Supported" (có thể cần tinh chỉnh) trong ma trận hỗ trợ, không nằm ở mức "Leading"; khả năng hiểu âm thanh, suy luận và chỉ dẫn bằng giọng nói mới chỉ được đánh giá trên tiếng Anh.
- Đây là mô hình ngoại tuyến, việc chia nhỏ nội bộ không đồng nghĩa với chuyển đổi trực tiếp theo thời gian thực; các con số ghi trong thẻ về tốc độ xử lý 2238 giây âm thanh mỗi giây trên RTX PRO 6000 và thời gian hoàn thành 0.13 giây cho bản ghi âm 30 giây được lấy từ phiên bản vLLM đã tối ưu hóa trong NIM, những cải tiến này chưa có trong phiên bản mã nguồn mở, ước tính chính thức cho thấy phiên bản mã nguồn mở chậm hơn khoảng gấp đôi.
- Kho mô hình được tạo vào ngày 7 tháng 10, đã xuất hiện trên bảng xếp hạng một thời gian; nhãn người nói chỉ phân biệt những người khác nhau trong bản ghi âm, không đại diện cho danh tính thực tế.