ServiceNow の音声エージェントモデル：Whisper large-v3-turbo 音声エンコーダを投影層経由で Gemma 4 26B-A4B に接続し、音声によるリクエストを直接受け取って、文字起こし、音声翻訳、音声質問応答を行う。推論機能も備え、OpenAI 形式でツール呼び出しを発行可能で、テキストおよび画像入力もサポートする。出力はテキストとツール呼び出しのみで、音声自体は生成しないため、音声アシスタントとして機能させるには外部の音声合成エンジンとの連携が必要。10 月 29 日に重みファイルをアップロード。それ以前の号では未収録。
上昇スコア 65 · いいね 65 · ダウンロード数 338
理由
- 公式によれば、音声カスタマーサービス関連のベンチマークにおいて、EVA-A（サービス精度）51.27、EVA-X（対話体験）74.13、τ-Voice タスク成功率 65.51 を達成。システム全体の平均応答時間は 1.91 秒（思考モード有効、Cartesia Sonic 3.5 合成を使用）。同じ表内では、Parakeet + Gemma 4-26B + TTS のオープンソース 3 段階構成ソリューションは 39.97、3.93、67.78。GPT Realtime 2.1 は 59.03、61.6、69.82。
- 音声機能を追加してもテキスト能力はほぼ低下していない：公式によれば、テキスト入力時の MMLU-Pro スコアは 84.42（ベースモデル 85.27）、GPQA Diamond スコアは 80.40（ベースモデル 77.80）、τ² スコアは 70.95（ベースモデル 68.93）。英語音声認識の LibriSpeech test-clean / test-other における単語誤り率は 2.23% / 5.15%。
- 長い音声は自動的に 30 秒ごとに分割される。公式によれば、約 30 分の連続録音で安定した性能を発揮し、サービス例では 30 分に設定されているが、1 時間用のパラメータも提供されている。モデルカードには 49 種類の言語タグが記載されている。
使い方
- vLLM：モデルカードに記載されている Docker イメージ amant555/vllm_apriel_voice:plain-26b-v0.32.0（または上流の vLLM の PR #64683）を使用し、
vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4を実行して OpenAI 互換インターフェースを起動。例では推論デコーディング用に google/gemma-4-26B-A4B-it-assistant を使用している。最適化されたイメージもあり、公式によれば 4 枚の H100 80GB GPU 環境で出力スループットが約 2 倍向上する。 - 呼び出し時は messages に audio_url とテキスト指示文を含める。文字起こしと翻訳では temperature を 0.4 に設定し、思考モードを無効化（chat_template_kwargs 内で enable_thinking=false）。一般的な指示やツールタスクでは temperature を 1.0、top_p を 0.95、top_k を 64 に設定し、思考モードを有効にする。音声は 16 kHz モノラルである必要がある。
- デプロイを避けたい場合は、公式の Apriel Live ページ（servicenow-ai-apriel.hf.space）で試すことができる。Transformers を使用したオフライン推論では trust_remote_code=True を有効にする必要がある。
リスク
- 性能指標はすべて公式による自己評価：EVA / τ-Voice は公式の最適化イメージと Cartesia 合成を使用しており、遅延はシステム全体で計測されているため、デプロイ環境が変われば結果も変わる。公式は多言語性能にばらつきがあると述べており、英語の成績は他の言語を保証しない。中国語については個別のスコアが提供されていない。
- BF16 重みファイルは約 54.5 GB で、公式例では 4 枚の GPU を用いたテンソル並列構成が採用されている。Docker イメージは個人アカウント amant555 名義で公開されており、vLLM のネイティブサポートはまだ PR 段階にある。
- プレビュー版：公式はツール呼び出しでエラーが発生する可能性があり、複雑なマルチステップワークフローが確実に完了するとは限らないと警告している。騒音環境や遠距離録音では認識が困難であり、長い録音では繰り返しや話題の逸脱が生じる可能性がある。実害を伴う操作には人間の確認が必要。