NVIDIA 10 28 выпустила голосовую модель с открытыми весами Nemotron 3.5 Transcribe: одна модель одновременно выполняет транскрибирование, разметку говорящих, перевод и ответы на вопросы по аудио, где тип вывода определяется одной инструкцией на естественном языке; поддерживается транскрибирование 40 языков, из которых 31 можно переводить в обе стороны с английским, а для 13 доступна разметка говорящих; максимальная длительность одной записи составляет 1 часов, а максимальное количество говорящих — 8. Также были опубликованы конвейер очистки данных и манифест данных Granary v2, а также руководство по дообучению NeMo Speech.
Уверенность: высокая (100) · Время события 2026-10-28
Обоснование
- Для одной и той же записи совещания достаточно изменить промпт, чтобы получить дословную расшифровку с метками говорящих, английский перевод или ответ на вопрос «какие решения были приняты на этом совещании»; в промпт также можно добавить список специализированных терминов (например, названий лекарств), и модель будет использовать их только если они действительно встречаются в записи. Процесс, ранее требовавший последовательного запуска нескольких моделей для транскрибирования, разделения говорящих и перевода, теперь может быть выполнен одной моделью.
- Архитектура состоит из аудиоэнкодера и гибридной языковой модели с разреженной смесью экспертов (MoE) на базе Mamba–Transformer; общее количество параметров составляет около 30B, а активированных на каждый токен — около 4B (в карточке модели указано около 4.3B с учетом аудиоэнкодера). Доступны три формата точности: BF16, FP8 и NVFP4. Официально заявлено: первое место среди моделей с открытыми весами в англоязычном рейтинге Hugging Face Open ASR (средняя частота ошибок слов 5.33%); первое место (совместно) среди моделей с открытыми весами в рейтинге распознавания речи Artificial Analysis (2.8%), при этом у конкурентов активировано 24B параметров; наименьшая частота ошибок в рейтинге разделения говорящих David AI для 21 языков (18.26%).
- Официально представлен полный пример адаптации к предметной области: на медицинском корпусе с индийским акцентом врачей правильно составленный промпт снизил частоту ошибок слов с 30.8% до 23.8%, а последующее дообучение — до 11.8%; для говорящих, не участвовавших в настройке, показатель снизился с 22.44% до 12.17% (относительное снижение на 45.8%). Весь процесс адаптации занял около 14 GPU-часов на одной карте GB300.
- Публичный манифест Granary v2 охватывает 463,062 часов аудио, 48 языков и 16 исходных корпусов (в версии v1 было 25 языков); для каждой записи предоставлены три варианта транскрипции (дословная, нормализованная и др.), а конвейер можно использовать для обработки собственных записей.
Использование
- Модель доступна на Hugging Face в репозитории nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B (синхронизировано с ModelScope), есть онлайн-демо; можно развернуть самостоятельно с помощью vLLM или SGLang-Omni, либо использовать управляемые эндпоинты от Baseten, DeepInfra и Simplismart. Официально заявлено, что квантованные версии и локальное развертывание через NeMo-Speech.cpp «скоро появятся».
- Данные доступны на Hugging Face в репозитории nvidia/Granary-v2; для дообучения смотрите руководство NeMo Speech и пример медицинского ASR, а также агентский навык (agent skill) для запуска полного процесса дообучения с помощью программирующего агента. В карточке модели приведены рекомендуемые промпты для различных задач и матрица поддержки языков.
Риски
- Модель работает только с записанным аудио, потоковое распознавание в реальном времени не поддерживается; ответы на вопросы по аудио, рассуждения и выполнение голосовых инструкций были протестированы только на английском языке.
- Лицензия — OpenMDW-1.1, в карточке модели указано, что коммерческое использование разрешено; там же отмечено, что производительность в задачах с чистым текстом ниже, чем у базовой языковой модели.
- The Decoder сообщает, что Granary v2 содержит около 84.4 тысяч часов аудио, что расходится с 463,062 часами, указанными в блоге NVIDIA; следует ориентироваться на официальные данные. Описание в SiliconANGLE, например, о возможности «обработать 100 часов аудио», не соответствует официальному первоисточнику.
- Результаты рейтингов собраны официально, фактические выводы модели не проверялись.
Открыть · Карточка модели Nemotron 3.5 Transcribe · Блог NVIDIA (обзор локального ИИ на RTX Spark) · TechCrunch · The Decoder · SiliconANGLE