원제: nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
엔비디아의 오프라인 음성/오디오 대규모 언어 모델(SALM): Transformer ASR 인코더와 Nemotron-3-Diarization 화자 인코더가 오디오를 Nemotron-3.5 Lightning 30B-A3B 하이브리드 Mamba-Transformer MoE 언어 모델로 전달하며, 총 파라미터는 34B이고 활성 파라미터는 약 4.3B(오디오 인코더 포함)입니다. 40개 언어 전사를 지원하며, 최대 1시간의 녹음 파일(컨텍스트 길이 65,536 토큰)을 처리할 수 있습니다. 지시문을 통해 전사 스타일을 선택할 수 있으며(구어체 포함 원문 그대로 전사, 가독성 있는 텍스트로 정리, 도메인 용어 적용, 누가 언제 무엇을 말했는지 표시), 음성 번역, 언어 식별 및 오디오 질의응답도 수행할 수 있고 선택적으로 단어 단위 타임스탬프를 제공합니다. 동시에 FP8, NVFP4 버전과 DFlash2 추론 디코딩 드래프트 모델이 공개되었습니다. 카드에 명시된 출시일은 10월 28일이며, 이전 호에서는 다루지 않았습니다.
상승 점수 334.5 · 좋아요 3057 · 다운로드 수 57297
이유
- 공식적으로 다중 화자 전체 회의 전사(AMI, CALLHOME, Mixer 6, NOTSOFAR-1)에서 평균 cpWER가 15.80로, 이전 최고 공개 결과인 16.83보다 낮다고 주장합니다. 오픈 웨이트 모델 중 영어 Open ASR 리더보드에서 9개 공개 데이터셋의 평균 WER는 4.71, 긴 오디오는 10.98, 7개 언어의 다국어 리더보드는 4.62로 모두 표에서 가장 낮은 수치입니다(결과는 10월 12일 기준).
- 하나의 모델로 전사, 화자 분리, 번역 등 여러 도구를 대체할 수 있습니다. 카드에는 각 요구 사항에 해당하는 지시문 원문이 제공되어 있으며(예: 마이크에 가장 가까운 사람만 전사, 용어집 추가), 회의록 작성, 자막 생성, 고객 서비스 녹음 분석 및 오디오 검색에 적합합니다.
- 실행 가능 여부: 공식 예제에서는 H100 80 GB GPU 한 장에서 vLLM 0.32.0 + NeMo Speech를 사용하여 OpenAI 호환 서비스를 구동하며, 소스 코드 버전의 Transformers를 통해 프로세스 내에서 호출할 수도 있습니다. 라이선스는 OpenMDW-1.1이며, 카드에 상업적 사용이 허용됨이 명시되어 있습니다. Hugging Face 좋아요 수는 3057개(단순 관심도 지표).
사용법
- vLLM: 카드의 Environment Setup 지침에 따라 vLLM 0.32.0 및 NeMo Speech main 브랜치를 설치하고, VLLM_PLUGINS=nemo_speechlm, VLLM_MAX_AUDIO_DECODE_DURATION_S=3600, VLLM_USE_V2_MODEL_RUNNER=0(단어 단위 타임스탬프에 필요)을 설정한 후, Quick Start의 전체 vllm serve 명령어를 따르며 실행합니다(--max-model-len 65536 및 MTP 추론 디코딩 구성 포함). 클라이언트는 OpenAI chat.completions를 사용하며, base64 wav 파일을 audio_url에 넣고 텍스트는 'Transcribe the following audio.'로 작성하며, temperature는 0, enable_thinking은 끄십시오.
- Transformers: pip install git+https://github.com/huggingface/transformers，AutoModelForMultimodalLM을 통해 설치하고 AutoProcessor를 로드한 후, processor.apply_transcription_request(오디오)를 호출하여 generate합니다.
- 전사, 번역, 언어 식별에는 temperature 0을 사용하고 추론(inference)을 끄며 시스템 프롬프트는 비워 둡니다. 오디오 질의응답에는 temperature 0.6, top_p 0.95를 사용하고 추론을 켭니다.
리스크
- 중국어 표준어(만다린)는 지원 매트릭스에서 'Supported' 등급에 속하며(미세 조정이 필요할 수 있음), 'Leading' 등급에는 포함되지 않습니다. 오디오 이해, 추론 및 구어 지시 사항은 영어로만 평가되었습니다.
- 이는 오프라인 모델이며, 내부 청크 분할은 실시간 스트리밍 전사와 동일하지 않습니다. 카드에 명시된 RTX PRO 6000에서 초당 2238초의 오디오를 전사하고, 30초 녹음 파일이 0.13초 만에 결과가 나오는 수치는 NIM 내 최적화된 vLLM 버전에서 나온 것이며, 이러한 최적화는 아직 오픈소스 버전에 포함되지 않았습니다. 공식 추정치에 따르면 오픈소스 버전은 약 2배 느립니다.
- 10월 7일에 리포지토리가 생성되어 이미 한동안 리더보드에 올라와 있습니다. 화자 레이블은 녹음 내 서로 다른 사람을 구분할 뿐, 실제 신원을 나타내지는 않습니다.