ServiceNow의 음성 언어 모델: Gemma 4 26B-A4B에 Whisper large-v3-turbo 음성 인코더와 투영 계층을 연결하여 음성 입력을 직접 처리하고, 텍스트 응답과 구조화된 도구 호출을 출력합니다. 별도의 전사 과정이나 다른 대화 모델로 전달할 필요가 없으며, 텍스트 및 이미지 입력도 그대로 지원합니다. 학습은 두 단계로 진행됩니다. 먼저 음성 인터페이스를 정렬한 후, 지도 학습 미세 조정(SFT), 텍스트 리플레이, 데이터 소스에 따른 교차 엔트로피/정방향 KL 증류를 결합하여 투영 계층과 백본 네트워크를 함께 조정합니다. 이 모델은 텍스트와 도구 호출만 출력하며, 음성 합성은 별도로 연결해야 합니다.
좋아요 33
이유
- 저자는 사고 모드(thinking mode)에서 Big Bench Audio 98.90, Speech-BFCL 81.13, τ-Voice 작업의 성공률이 65.51%이며 평균 지연 시간은 1.91초라고 주장합니다. 모델 카드의 표에 따르면 EVA 경험 점수가 나열된 오픈 소스 2단계 및 3단계 솔루션보다 높습니다.
- 가중치는 MIT 라이선스를 따르며, 모델 카드에는 vLLM 배포(OpenAI 호환 인터페이스, 자동 도구 선택)와 Transformers 사용법 두 가지가 제공되어 음성 고객 서비스나 음성 기반 도구 호출 애플리케이션을 직접 구축할 수 있습니다.
- 공개 당일 좋아요 순위 5위(관심도만 반영)를 기록했습니다. 모델 카드에 따르면 텍스트 추론 및 도구 호출 점수가 Gemma 4 26B-A4B와 기본적으로 유사하며, 음성 기능 추가가 텍스트 성능을 크게 저하시키지 않는다고 명시되어 있습니다.
사용법
- 온라인 체험: 모델 카드에 포함된 Apriel Live(servicenow-ai-apriel.hf.space)를 이용하세요.
- 배포: 모델 카드에 제공된 vLLM v0.32.0 이미지(또는 상류 vLLM PR #64683)를 사용하며,
vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4명령어를 실행합니다. 예제는 4-GPU 구성을 기준으로 합니다. - 호출: OpenAI 클라이언트의 messages에
{"type": "audio\_url"}과 텍스트 지시문을 포함하고, 도구 호출 시 tools를 전달한 후 message.tool_calls를 읽습니다. 전사(transcription) 작업의 경우 temperature를 0.4로 설정하고 사고 모드(thinking)를 비활성화합니다. - 오디오는 16 kHz 모노 채널이어야 하며, 긴 녹음 파일은 자동으로 30초 단위로 분할됩니다. 모델 카드에 따르면 약 30분 이내의 오디오에서 더 나은 성능을 보인다고 합니다.
리스크
- 미리보기(Preview) 버전으로 독립적인 코드 저장소가 없으며, 배포 이미지는 개인 Docker 계정에 호스팅되어 있고 공식 vLLM 지원은 아직 PR 단계입니다.
- 배포 장벽이 높습니다. 예제는 H100 80GB급 GPU 4개를 사용하며, 엔드투엔드 경험은 외부 TTS 및 대화 라운드 관리에 따라 달라집니다. 모델 자체는 전이중(full-duplex) 음성 처리를 지원하지 않습니다.
- 모델 카드에는 다국어 성능이 고르지 않고, 소음이 많거나 원거리 음성 인식은 여전히 어려우며 복잡한 도구 워크플로우에서 오류가 발생할 수 있다고 명시되어 있습니다. 벤치마크 점수는 공식 보고된 수치입니다.