Голосовая языковая модель от ServiceNow: к Gemma 4 26B-A4B подключаются голосовой энкодер Whisper large-v3-turbo и проекционный слой, что позволяет напрямую обрабатывать речь и выдавать текстовые ответы и структурированные вызовы инструментов без необходимости сначала выполнять транскрипцию и передавать результат другой диалоговой модели; при этом сохраняется поддержка текстовых и графических входных данных. Обучение проходит в два этапа: сначала выполняется выравнивание голосового интерфейса, затем совместно настраиваются проекционный слой и основная модель с помощью контролируемой дообучения (SFT), воспроизведения текстовых данных и дистилляции (перекрестная энтропия / прямая KL-дивергенция) в зависимости от источника данных. Модель выводит только текст и вызовы инструментов; для генерации речи требуется отдельное подключение системы синтеза речи.
Лайки 33
Причины
- Авторы сообщают, что в режиме рассуждений достигнуты следующие показатели успешности выполнения задач: Big Bench Audio 98.90, Speech-BFCL 81.13, τ-Voice 65.51%; средняя задержка составляет 1.91 секунд. В таблице карточки модели оценка пользовательского опыта EVA выше, чем у перечисленных открытых двухэтапных и трехэтапных решений.
- Веса распространяются под лицензией MIT; в карточке модели приведены примеры развертывания с использованием vLLM (интерфейс, совместимый с OpenAI, автоматический выбор инструментов) и библиотеки Transformers, что позволяет сразу применять модель для голосовой поддержки клиентов или вызова инструментов через диктовку.
- Модель заняла пятое место по количеству лайков в день публикации на Hugging Face (что отражает только уровень внимания); согласно карточке модели, показатели текстовых рассуждений и вызова инструментов практически не отличаются от показателей Gemma 4 26B-A4B, а добавление голосового интерфейса не привело к заметному ухудшению текстовых возможностей.
Использование
- Онлайн-демо: Apriel Live из карточки модели (servicenow-ai-apriel.hf.space).
- Развертывание: используйте образ vLLM v0.32.0 из карточки модели (или PR #64683 в upstream vLLM) с командой
vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4; пример конфигурации рассчитан на четыре видеокарты. - Вызов: в массиве
messagesклиента OpenAI укажите объект{"type": "audio\_url"}вместе с текстовой инструкцией; для вызова инструментов передайте параметрtoolsи считайте результат изmessage.tool\_calls; для задач транскрипции установитеtemperature0.4 и отключите режим рассуждений. - Аудио должно быть монофоническим с частотой дискретизации 16 кГц; длинные записи автоматически разбиваются на сегменты по 30 секунд; согласно карточке модели, качество работы лучше всего при длительности аудио до примерно 30 минут.
Риски
- Это версия Preview; отдельный репозиторий с кодом отсутствует. Образ для развертывания находится в личном аккаунте Docker, официальная поддержка в vLLM пока оформлена как pull request.
- Высокий порог развертывания: пример конфигурации требует четырех видеокарт уровня H100 80GB; сквозной пользовательский опыт также зависит от подключенных систем синтеза речи (TTS) и управления диалоговыми ходами, так как сама модель не поддерживает полнодуплексную голосовую связь.
- В карточке модели указано, что многоязычная работа неравномерна, распознавание шумной и удаленной речи остается сложной задачей, а сложные цепочки вызовов инструментов могут приводить к ошибкам; показатели бенчмарков основаны на официальных отчетах.