Mô hình ngôn ngữ giọng nói của ServiceNow: Kết nối bộ mã hóa giọng nói Whisper large-v3-turbo và lớp chiếu (projection layer) vào Gemma 4 26B-A4B, cho phép trực tiếp nghe giọng nói, xuất ra câu trả lời dạng văn bản và các lệnh gọi công cụ có cấu trúc, mà không cần chuyển đổi thành văn bản trước rồi chuyển cho một mô hình hội thoại khác; đồng thời vẫn hỗ trợ đầu vào dạng văn bản và hình ảnh. Quá trình huấn luyện gồm hai giai đoạn: đầu tiên là căn chỉnh giao diện giọng nói, sau đó điều chỉnh đồng thời lớp chiếu và mô hình chính (backbone) bằng phương pháp tinh chỉnh có giám sát (supervised fine-tuning), tái sử dụng dữ liệu văn bản (text replay) và phương pháp chưng cất (distillation) dựa trên phân kỳ KL tiến (forward KL) hoặc entropy chéo (cross-entropy) được phân loại theo nguồn dữ liệu. Mô hình chỉ xuất ra văn bản và lệnh gọi công cụ, còn để tạo giọng nói thì cần tích hợp thêm một hệ thống tổng hợp giọng nói (TTS) riêng biệt.
Thích 33
Lý do
- Tác giả cho biết trong chế độ suy luận, tỷ lệ thành công của các tác vụ Big Bench Audio 98.90, Speech-BFCL 81.13 và τ-Voice là 65.51%, với độ trễ trung bình 1.91 giây; điểm trải nghiệm EVA trong bảng thông tin mô hình cao hơn so với các giải pháp hai giai đoạn và ba giai đoạn mã nguồn mở được liệt kê.
- Trọng số mô hình được cấp phép MIT, thông tin mô hình cung cấp hai cách sử dụng: triển khai qua vLLM (giao diện tương thích OpenAI, tự động chọn công cụ) và qua Transformers, cho phép ứng dụng trực tiếp vào các dịch vụ chăm sóc khách hàng qua giọng nói hoặc gọi công cụ bằng lời nói.
- Trong ngày ra mắt, mô hình đứng thứ năm về lượt thích (chỉ phản ánh mức độ quan tâm); thông tin mô hình cho biết điểm số về suy luận văn bản và gọi công cụ gần như tương đương với Gemma 4 26B-A4B, việc thêm khả năng giọng nói không làm suy giảm đáng kể năng lực xử lý văn bản.
Cách sử dụng
- Trải nghiệm trực tuyến: Apriel Live trong thông tin mô hình (servicenow-ai-apriel.hf.space).
- Triển khai: Sử dụng hình ảnh Docker vLLM v0.32.0 được cung cấp trong thông tin mô hình (hoặc PR #64683 của vLLM gốc), chạy lệnh
vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4, ví dụ được cấu hình cho bốn GPU. - Gọi API: Trong tham số
messagescủa client OpenAI, đưa vào đối tượng{"type": "audio\_url"}kèm chỉ dẫn dạng văn bản; khi gọi công cụ, truyền tham sốtoolsvà đọc kết quả từmessage.tool\_calls; đối với các tác vụ chuyển đổi giọng nói thành văn bản, đặttemperaturelà 0.4 và tắt chế độ suy luận. - Âm thanh cần ở định dạng mono 16 kHz, các bản ghi âm dài sẽ tự động được chia thành các đoạn 30 giây, thông tin mô hình cho biết hiệu suất tốt nhất trong khoảng thời gian dưới 30 phút.
Rủi ro
- Đây là phiên bản Preview, chưa có kho mã nguồn độc lập; hình ảnh Docker triển khai nằm trong tài khoản Docker cá nhân, và hỗ trợ chính thức cho vLLM vẫn đang trong quá trình xem xét qua PR.
- Rào cản triển khai cao: ví dụ yêu cầu bốn card đồ họa H100 dung lượng 80GB; trải nghiệm đầu-cuối còn phụ thuộc vào hệ thống tổng hợp giọng nói (TTS) bên ngoài và quản lý lượt hội thoại, bản thân mô hình không hỗ trợ hội thoại giọng nói song công (full-duplex).
- Thông tin mô hình ghi rõ hiệu suất đa ngôn ngữ không đồng đều, giọng nói trong môi trường ồn ào hoặc thu từ xa vẫn còn khó khăn, các quy trình gọi công cụ phức tạp có thể gặp lỗi; điểm số benchmark là do nhà phát triển tự báo cáo.