Apriel Voice 27B Preview: открытая модель для распознавания речи, рассуждений и вызова инструментов (An Open Model for Speech, Reasoning, and Tool Use)

Голосовая языковая модель от ServiceNow: к Gemma 4 26B-A4B подключаются голосовой энкодер Whisper large-v3-turbo и проекционный слой, что позволяет напрямую обрабатывать речь и выдавать текстовые ответы и структурированные вызовы инструментов без необходимости сначала выполнять транскрипцию и передавать результат другой диалоговой модели; при этом сохраняется поддержка текстовых и графических входных данных. Обучение проходит в два этапа: сначала выполняется выравнивание голосового интерфейса, затем совместно настраиваются проекционный слой и основная модель с помощью контролируемой дообучения (SFT), воспроизведения текстовых данных и дистилляции (перекрестная энтропия / прямая KL-дивергенция) в зависимости от источника данных. Модель выводит только текст и вызовы инструментов; для генерации речи требуется отдельное подключение системы синтеза речи.

Голосовая языковая модель от ServiceNow: к Gemma 4 26B-A4B подключаются голосовой энкодер Whisper large-v3-turbo и проекционный слой, что позволяет напрямую обрабатывать речь и выдавать текстовые ответы и структурированные вызовы инструментов без необходимости сначала выполнять транскрипцию и передавать результат другой диалоговой модели; при этом сохраняется поддержка текстовых и графических входных данных. Обучение проходит в два этапа: сначала выполняется выравнивание голосового интерфейса, затем совместно настраиваются проекционный слой и основная модель с помощью контролируемой дообучения (SFT), воспроизведения текстовых данных и дистилляции (перекрестная энтропия / прямая KL-дивергенция) в зависимости от источника данных. Модель выводит только текст и вызовы инструментов; для генерации речи требуется отдельное подключение системы синтеза речи.

Лайки 33

Причины

  • Авторы сообщают, что в режиме рассуждений достигнуты следующие показатели успешности выполнения задач: Big Bench Audio 98.90, Speech-BFCL 81.13, τ-Voice 65.51%; средняя задержка составляет 1.91 секунд. В таблице карточки модели оценка пользовательского опыта EVA выше, чем у перечисленных открытых двухэтапных и трехэтапных решений.
  • Веса распространяются под лицензией MIT; в карточке модели приведены примеры развертывания с использованием vLLM (интерфейс, совместимый с OpenAI, автоматический выбор инструментов) и библиотеки Transformers, что позволяет сразу применять модель для голосовой поддержки клиентов или вызова инструментов через диктовку.
  • Модель заняла пятое место по количеству лайков в день публикации на Hugging Face (что отражает только уровень внимания); согласно карточке модели, показатели текстовых рассуждений и вызова инструментов практически не отличаются от показателей Gemma 4 26B-A4B, а добавление голосового интерфейса не привело к заметному ухудшению текстовых возможностей.

Использование

  • Онлайн-демо: Apriel Live из карточки модели (servicenow-ai-apriel.hf.space).
  • Развертывание: используйте образ vLLM v0.32.0 из карточки модели (или PR #64683 в upstream vLLM) с командой vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4; пример конфигурации рассчитан на четыре видеокарты.
  • Вызов: в массиве messages клиента OpenAI укажите объект {"type": "audio\_url"} вместе с текстовой инструкцией; для вызова инструментов передайте параметр tools и считайте результат из message.tool\_calls; для задач транскрипции установите temperature 0.4 и отключите режим рассуждений.
  • Аудио должно быть монофоническим с частотой дискретизации 16 кГц; длинные записи автоматически разбиваются на сегменты по 30 секунд; согласно карточке модели, качество работы лучше всего при длительности аудио до примерно 30 минут.

Риски

  • Это версия Preview; отдельный репозиторий с кодом отсутствует. Образ для развертывания находится в личном аккаунте Docker, официальная поддержка в vLLM пока оформлена как pull request.
  • Высокий порог развертывания: пример конфигурации требует четырех видеокарт уровня H100 80GB; сквозной пользовательский опыт также зависит от подключенных систем синтеза речи (TTS) и управления диалоговыми ходами, так как сама модель не поддерживает полнодуплексную голосовую связь.
  • В карточке модели указано, что многоязычная работа неравномерна, распознавание шумной и удаленной речи остается сложной задачей, а сложные цепочки вызовов инструментов могут приводить к ошибкам; показатели бенчмарков основаны на официальных отчетах.

Открыть · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ