Голосовая агентная модель от ServiceNow: голосовой энкодер Whisper large-v3-turbo подключается через проекционный слой к Gemma 4 26B-A4B, что позволяет напрямую воспринимать устные запросы, выполнять транскрипцию, голосовой перевод и голосовые вопросы-ответы, а также рассуждать и отправлять вызовы инструментов в формате OpenAI, сохраняя при этом поддержку текстового и графического ввода. Модель выводит только текст и вызовы инструментов, не генерируя собственный голос; для создания полноценного голосового ассистента требуется подключение внешнего синтеза речи. Веса были загружены 10 29, в предыдущих выпусках эта модель не рассматривалась.
Рост рейтинга: 65 · Лайки: 65 · Загрузки: 338
Обоснование
- Официально заявлено, что в тестах на голосовое обслуживание клиентов модель показывает следующие результаты: EVA-A (точность обслуживания) — 51.27, EVA-X (качество диалога) — 74.13, успешность выполнения задач τ-Voice — 65.51. Среднее время отклика всей системы составляет 1.91 секунд (с включенным режимом рассуждений и синтезом речи Cartesia Sonic 3.5). В той же таблице для открытой трехкомпонентной схемы Parakeet + Gemma 4-26B + TTS показатели составляют 39.97, 3.93 и 67.78; для GPT Realtime 2.1 — 59.03, 61.6 и 69.82.
- Добавление голосовых возможностей практически не снизило текстовые способности: официально заявлено, что при текстовом вводе результаты MMLU-Pro составляют 84.42 (базовая модель — 85.27), GPQA Diamond — 80.40 (базовая модель — 77.80), τ² — 70.95 (базовая модель — 68.93). Показатель WER (word error rate) для распознавания английской речи на наборах LibriSpeech test-clean / test-other составляет 2.23% / 5.15%.
- Длинные аудиозаписи автоматически разбиваются на сегменты по 30 секунд. Официально заявлено, что модель стабильно работает с непрерывными записями длительностью около 30 минут; примеры сервисных сценариев настроены на 30 минут, также указаны параметры для 1 часов. В карточке модели перечислены метки для 49 языков.
Использование
- vLLM: используйте Docker-образ amant555/vllm_apriel_voice:plain-26b-v0.32.0, указанный в карточке модели (или PR #64683 из основного репозитория vLLM). Запустите команду
vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4для запуска интерфейса, совместимого с OpenAI. В примерах также используется модель google/gemma-4-26B-A4B-it-assistant для спекулятивного декодирования. Существует также оптимизированный образ, который, по официальным данным, обеспечивает примерно двукратное увеличение пропускной способности вывода на 4 видеокартах H100 80GB. - При вызове API включите в массив
messagesполеaudio_urlи текстовую инструкцию. Для транскрипции и перевода используйтеtemperature0.4 и отключите режим рассуждений (вchat_template_kwargsустановитеenable_thinking=false). Для общих инструкций и задач с вызовом инструментов используйтеtemperature1.0,top_p0.95,top_k64 и включите режим рассуждений. Аудио должно быть монофоническим с частотой дискретизации 16 кГц. - Если вы не хотите развертывать модель самостоятельно, можно протестировать её на официальной странице Apriel Live (servicenow-ai-apriel.hf.space). Для автономного вывода с помощью Transformers необходимо установить
trust_remote_code=True.
Риски
- Все результаты получены в ходе внутренних тестов разработчика: тесты EVA / τ-Voice проводились с использованием официального оптимизированного образа и синтеза речи Cartesia, а задержка измерялась для всей системы в целом; при изменении конфигурации развертывания эти показатели могут измениться. Разработчик отмечает неравномерность качества работы с разными языками: результаты для английского языка не гарантируют аналогичного качества для других языков, а отдельные оценки для китайского языка не приводятся.
- Веса в формате BF16 занимают около 54.5 ГБ, официальные примеры настроены для тензорного параллелизма на 4 видеокартах; Docker-образ опубликован от имени личного аккаунта amant555, а нативная поддержка в vLLM все еще находится на стадии PR.
- Это превью-версия: разработчик предупреждает, что вызовы инструментов могут выполняться с ошибками, сложные многошаговые рабочие процессы не всегда завершаются надежно, распознавание речи на шумных или дальних записях затруднено, а при работе с длинными записями возможны повторения или отклонения от темы. Действия, имеющие реальные последствия, требуют человеческого контроля.