Mô hình tác nhân giọng nói của ServiceNow: Kết nối bộ mã hóa giọng nói Whisper large-v3-turbo với Gemma 4 26B-A4B thông qua một lớp chiếu, trực tiếp nghe các yêu cầu bằng lời nói, thực hiện chuyển văn bản từ giọng nói, dịch giọng nói, hỏi đáp giọng nói, đồng thời có thể suy luận và phát ra các lệnh gọi công cụ theo định dạng OpenAI, trong khi vẫn giữ nguyên đầu vào văn bản và hình ảnh. Mô hình chỉ xuất ra văn bản và lệnh gọi công cụ, tự nó không phát âm thanh, cần kết hợp với tổng hợp giọng nói bên ngoài để tạo thành trợ lý giọng nói. Trọng số được tải lên vào ngày 29 tháng 10, trước đó chưa được ghi nhận trong các kỳ.
Điểm tăng thêm 65 · Lượt thích 65 · Lượt tải xuống 338
Lý do
- Theo thông tin chính thức, trên các bài đánh giá về dịch vụ khách hàng qua giọng nói, EVA-A (độ chính xác dịch vụ) đạt 51.27, EVA-X (trải nghiệm hội thoại) đạt 74.13, tỷ lệ thành công nhiệm vụ τ-Voice là 65.51, thời gian phản hồi trung bình của toàn bộ hệ thống là 1.91 giây (kích hoạt suy luận, kết hợp với tổng hợp giọng nói Cartesia Sonic 3.5). Trong cùng bảng đó, giải pháp ba giai đoạn mã nguồn mở Parakeet + Gemma 4-26B + TTS đạt 39.97, 3.93, 67.78; GPT Realtime 2.1 đạt 59.03, 61.6, 69.82.
- Khi thêm khả năng giọng nói, hiệu suất văn bản hầu như không giảm: Theo thông tin chính thức, với đầu vào văn bản, MMLU-Pro đạt 84.42 (mô hình nền tảng 85.27), GPQA Diamond đạt 80.40 (mô hình nền tảng 77.80), τ² đạt 70.95 (mô hình nền tảng 68.93). Tỷ lệ lỗi từ trên LibriSpeech test-clean / test-other là 2.23% / 5.15%.
- Âm thanh dài sẽ tự động được cắt thành các đoạn 30 giây, theo thông tin chính thức, hiệu suất ổn định với các bản ghi âm liên tục khoảng 30 phút, ví dụ dịch vụ được cấu hình cho 30 phút, cũng cung cấp tham số cho 1 giờ; thẻ mô hình liệt kê 49 nhãn ngôn ngữ.
Cách sử dụng
- vLLM: Sử dụng hình ảnh Docker được cung cấp trong thẻ amant555/vllm_apriel_voice:plain-26b-v0.32.0 (hoặc PR #64683 của vLLM gốc), chạy lệnh
vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4để khởi động giao diện tương thích OpenAI; ví dụ còn sử dụnggoogle/gemma-4-26B-A4B-it-assistantcho giải mã suy đoán. Ngoài ra còn có hình ảnh đã được tối ưu hóa, theo thông tin chính thức, thông lượng đầu ra cao hơn khoảng gấp đôi trên 4 GPU H100 80GB. - Khi gọi API, đặt
audio_urlcùng với một câu lệnh văn bản trong phầnmessages. Đối với chuyển văn bản và dịch thuật, sử dụng temperature 0.4 và tắt suy luận (đặtenable_thinking=falsetrongchat_template_kwargs); đối với các nhiệm vụ chỉ dẫn chung và gọi công cụ, sử dụng temperature 1.0, top_p 0.95, top_k 64 và bật suy luận. Âm thanh phải là mono ở tần số 16 kHz. - Nếu không muốn triển khai, bạn có thể thử trước trên trang Apriel Live chính thức (servicenow-ai-apriel.hf.space); khi suy luận ngoại tuyến bằng Transformers, cần bật
trust_remote_code=True.
Rủi ro
- Các kết quả đều do nhà phát triển tự kiểm tra: EVA / τ-Voice sử dụng hình ảnh Docker đã được tối ưu hóa chính thức và tổng hợp giọng nói Cartesia, độ trễ tính cho toàn bộ hệ thống, sẽ thay đổi nếu thay đổi môi trường triển khai. Nhà phát triển cho biết hiệu suất đa ngôn ngữ không đồng đều, kết quả tiếng Anh không đại diện cho các ngôn ngữ khác, chưa có điểm số riêng cho tiếng Trung.
- Trọng số BF16 nặng khoảng 54.5 GB, ví dụ chính thức cấu hình song song tensor trên 4 GPU; hình ảnh Docker được phát hành dưới tài khoản cá nhân amant555, hỗ trợ gốc của vLLM vẫn đang ở giai đoạn PR.
- Phiên bản xem trước: Nhà phát triển cảnh báo rằng các lệnh gọi công cụ có thể gặp lỗi, các quy trình làm việc đa bước phức tạp không nhất thiết hoàn thành một cách đáng tin cậy, khó nhận dạng trong môi trường ồn ào hoặc thu âm xa, các bản ghi âm dài có thể bị lặp lại hoặc lạc đề; các thao tác có hậu quả thực tế cần có sự giám sát của con người.