ServiceNow의 음성 에이전트 모델: Whisper large-v3-turbo 음성 인코더를 투영 계층을 통해 Gemma 4 26B-A4B에 연결하여 구두 요청을 직접 듣고, 전사, 음성 번역, 음성 질의응답을 수행하며, 추론 후 OpenAI 형식으로 도구 호출을 생성할 수 있습니다. 텍스트 및 이미지 입력도 유지됩니다. 이 모델은 텍스트와 도구 호출만 출력하고 자체적으로 음성을 생성하지 않으므로, 음성 어시스턴트로 사용하려면 외부 음성 합성(TTS)과 연동해야 합니다. 10월 29일에 가중치가 업로드되었으며, 이전 호에서는 다루지 않았습니다.
상승 점수 65 · 좋아요 65 · 다운로드 수 338
이유
- 공식 발표에 따르면 음성 고객 서비스 평가에서 EVA-A(서비스 정확도) 51.27, EVA-X(대화 경험) 74.13, τ-Voice 작업 성공률 65.51을 기록했으며, 전체 시스템 평균 응답 시간은 1.91초입니다(추론 모드 활성화 및 Cartesia Sonic 3.5 합성 사용). 동일한 표에서 Parakeet + Gemma 4-26B + TTS로 구성된 오픈소스 3단계 솔루션은 39.97, 3.93, 67.78을 기록했으며, GPT Realtime 2.1은 59.03, 61.6, 69.82을 기록했습니다.
- 음성 기능이 추가된 후에도 텍스트 성능은 거의 저하되지 않았습니다. 공식 발표에 따르면 텍스트 입력 시 MMLU-Pro 점수는 84.42(베이스 모델 85.27), GPQA Diamond는 80.40(베이스 모델 77.80), τ²는 70.95(베이스 모델 68.93)입니다. 영어 인식 LibriSpeech test-clean / test-other의 단어 오류율(WER)은 각각 2.23% / 5.15%입니다.
- 긴 오디오는 자동으로 30초 단위로 분할되며, 공식 발표에 따르면 약 30분 길이의 연속 녹음에서 안정적인 성능을 보입니다. 서비스 예제는 30분으로 설정되어 있으며, 1시간 파라미터도 제공됩니다. 모델 카드에는 49개의 언어 태그가 나열되어 있습니다.
사용법
- vLLM: 제공된 Docker 이미지 amant555/vllm_apriel_voice:plain-26b-v0.32.0(또는 상류 vLLM의 PR #64683)을 사용하여
vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4를 실행하여 OpenAI 호환 인터페이스를 시작합니다. 예제에서는google/gemma-4-26B-A4B-it-assistant를 추론 디코딩(speculative decoding)에 사용하기도 합니다. 또한 최적화된 이미지가 있으며, 공식적으로 4개의 H100 80GB GPU에서 출력 처리량이 약 2배 높다고 합니다. - 호출 시
messages에audio_url과 텍스트 지시문을 포함시킵니다. 전사 및 번역에는 temperature 0.4을 사용하고 사고(thinking) 기능을 비활성화(chat_template_kwargs에서enable_thinking=false)합니다. 일반적인 지시문 및 도구 작업에는 temperature 1.0, top_p 0.95, top_k 64을 사용하고 사고 기능을 활성화합니다. 오디오는 16 kHz 모노 채널이어야 합니다. - 배포를 원하지 않는 경우 공식 Apriel Live 페이지(servicenow-ai-apriel.hf.space)에서 먼저 시도해 볼 수 있습니다. Transformers를 사용하여 오프라인 추론을 수행하려면
trust_remote_code=True를 활성화해야 합니다.
리스크
- 점수는 모두 공식 자체 테스트 결과입니다: EVA / τ-Voice는 공식 최적화 미러와 Cartesia 합성을 사용하며, 지연 시간은 전체 시스템을 기준으로 측정되어 배포 환경이 바뀌면 달라질 수 있습니다. 공식적으로 다국어 성능이 고르지 않다고 명시했으며, 영어 점수가 다른 언어의 성능을 대변하지 않고 중국어에 대한 개별 점수는 제공되지 않았습니다.
- BF16 가중치는 약 54.5 GB이며, 공식 예제는 4 카드 텐서 병렬 구성으로 설정되어 있습니다. Docker 미러는 개인 계정 amant555 명의로 배포되었으며, vLLM의 네이티브 지원은 아직 PR 단계입니다.
- 프리뷰 버전: 공식적으로 도구 호출 시 오류가 발생할 수 있으며, 복잡한 다단계 워크플로우는 반드시 신뢰성 있게 완료되지 않을 수 있고, 소음이 많거나 원거리 녹음은 인식이 어려우며, 긴 녹음 파일은 반복되거나 주제에서 벗어날 수 있다고 경고했습니다. 실제 결과가 따르는 작업에는 인간 검수가 필요합니다.