Оригинальное название: nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
Офлайн-модель NVIDIA для обработки речи и аудио (SALM): энкодер ASR на базе Transformer и энкодер говорящих Nemotron-3-Diarization подают аудио в гибридную MoE-языковую модель Nemotron-3.5 Lightning 30B-A3B на основе Mamba-Transformer. Общее количество параметров составляет 34B, активированных параметров — около 4.3B (включая аудиоэнкодер). Поддерживается транскрипция на 40 языках, запись длительностью до 1 часов (контекст 65,536 токенов). С помощью инструкций можно выбрать стиль транскрипции (дословная с заполнителями, приведение к читаемому виду, с использованием предметной терминологии, с указанием того, кто и когда что сказал). Также поддерживаются перевод речи, определение языка и вопросы по аудио, доступны временные метки на уровне слов. Выпущены версии FP8, NVFP4 и черновая модель для спекулятивного декодирования DFlash2. В карточке указана дата публикации 28 10, в предыдущих выпусках модель не была включена.
Рост рейтинга: 334.5 · Лайки: 3057 · Загрузки: 57297
Причины
- Официально заявлено, что средняя метрика cpWER для транскрипции целых совещаний с несколькими говорящими (наборы AMI, CALLHOME, Mixer 6, NOTSOFAR-1) составляет 15.80, что ниже лучших ранее опубликованных результатов 16.83. Среди моделей с открытыми весами средний WER на 9 открытых наборах данных в англоязычном рейтинге Open ASR составляет 4.71, на длинных аудио — 10.98, а в мультиязычном рейтинге для 7 языков — 4.62, что является лучшим показателем в таблице (результаты актуальны на 12 10).
- Одна модель заменяет несколько инструментов для транскрипции, разделения говорящих и перевода: в карточке приведены исходные инструкции для каждого случая (например, транскрибировать только ближайшего к микрофону человека, добавить глоссарий терминов). Это подходит для протоколов совещаний, субтитров, анализа записей клиентской поддержки и поиска по аудио.
- Модель можно запустить самостоятельно: в официальных примерах на одной видеокарте H100 с 80 ГБ памяти с помощью vLLM 0.32.0 и NeMo Speech запускается сервис, совместимый с OpenAI. Также можно использовать версию Transformers из исходного кода для вызова внутри процесса. Лицензия OpenMDW-1.1, в карточке указано, что коммерческое использование разрешено. Количество лайков на Hugging Face: 3057 (отражает только уровень интереса).
Использование
- vLLM: согласно разделу Environment Setup в карточке, установите vLLM 0.32.0 и ветку main NeMo Speech, задайте переменные окружения VLLM_PLUGINS=nemo_speechlm, VLLM_MAX_AUDIO_DECODE_DURATION_S=3600, VLLM_USE_V2_MODEL_RUNNER=0 (необходимо для временных меток на уровне слов), затем запустите сервер командой vllm serve из раздела Quick Start (с параметром --max-model-len 65536 и конфигурацией спекулятивного декодирования MTP). На стороне клиента используйте OpenAI chat.completions, поместите wav-файл base64 в поле audio_url, в тексте запроса напишите Transcribe the following audio., установите temperature 0 и отключите enable_thinking.
- Transformers: выполните pip install git+https://github.com/huggingface/transformers，AutoModelForMultimodalLM и загрузите модель через AutoProcessor, затем вызовите processor.apply_transcription_request(аудио) и сгенерируйте ответ.
- Для транскрипции, перевода и определения языка используйте temperature 0 и отключите режим рассуждений, оставьте системный промпт пустым. Для вопросов по аудио используйте temperature 0.6, top_p 0.95 и включите режим рассуждений.
Риски
- Китайский мандаринский язык в матрице поддержки находится в категории Supported (возможно, потребуется дообучение), а не в категории Leading. Понимание аудио, рассуждения и выполнение устных инструкций тестировались только на английском языке.
- Это офлайн-модель, внутреннее разбиение на блоки не означает потоковую транскрипцию в реальном времени. Показатели из карточки (RTX PRO 6000 транскрибирует 2238 секунд аудио в секунду, запись длительностью 30 секунд обрабатывается за 0.13 секунд) получены с использованием оптимизированной версии vLLM в NIM. Эти оптимизации еще не включены в открытую версию, и, по оценкам разработчиков, открытая версия примерно в два раза медленнее.
- Репозиторий создан 7 10, модель уже некоторое время находится в рейтинге. Метки говорящих различают только разных людей в записи и не указывают на их реальные личности.