SOV-Transcribe-1: Salesforce의 오픈 웨이트 음성 전사 모델

Salesforce가 11월 10일에 업로드한 비스트리밍 음성 인식 모델로, 모델 카드에 따르면 총 파라미터는 26.6B(활성화 파라미터 4.6B, 오디오 인코더 포함)이며 Whisper large-v3 오디오 인코더, 투영 레이어 및 Gemma 4 26B A4B MoE로 구성됩니다. 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 네덜란드어 등 7개 언어를 지원하며, 단일 오디오 세그먼트는 최대 30분까지 테스트되었습니다. 자연어 지시를 통해 원문 전사 또는 정리된 전사를 선택하고 구두점 및 숫자 형식을 제어할 수 있으며, 어려운 단어 인식을 돕기 위해 이름, 용어 또는 주제 설명을 입력할 수도 있습니다. Apache-2.0 라이선스입니다.

원제: salesforce-sovereign-intelligence/SOV-Transcribe-1

Salesforce가 11월 10일에 업로드한 비스트리밍 음성 인식 모델로, 모델 카드에 따르면 총 파라미터는 26.6B(활성화 파라미터 4.6B, 오디오 인코더 포함)이며 Whisper large-v3 오디오 인코더, 투영 레이어 및 Gemma 4 26B A4B MoE로 구성됩니다. 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 네덜란드어 등 7개 언어를 지원하며, 단일 오디오 세그먼트는 최대 30분까지 테스트되었습니다. 자연어 지시를 통해 원문 전사 또는 정리된 전사를 선택하고 구두점 및 숫자 형식을 제어할 수 있으며, 어려운 단어 인식을 돕기 위해 이름, 용어 또는 주제 설명을 입력할 수도 있습니다. Apache-2.0 라이선스입니다.

중요한 이유 자체 서버에 배포 가능하여 이름, 전화번호, 이메일 주소와 같은 세부 사항의 인식 정확도가 높으며, 원문 전사인지 정리된 전사인지 한 문장으로 제어할 수 있음

상승 점수 46 · 좋아요 60 · 다운로드 수 572

이유

  • 공식 발표에 따르면 11월 12일 기준, Artificial Analysis의 비스트리밍 음성 텍스트 변환 리더보드에서 오픈 웨이트 모델 중 1위(1), 전체 리더보드에서는 7위를 기록했으며, VoiceCodeBench의 23개 시스템 중 엔티티 정확도와 작업 성공률에서 2위를 차지했습니다
  • DFlash 추론 디코딩 드래프트 모델이 포함되어 있어 단일 요청 시 디코딩 속도가 약 2~3배 빨라집니다. 공식적으로 RTX PRO 6000 Blackwell GPU 한 장에서 30초 분량의 녹음 파일을 0.22초 만에 반환하며, 초당 최대 1,039초의 오디오를 전사할 수 있다고 테스트되었습니다
  • 모델 카드에는 프롬프트 템플릿(원문, 키워드, 자동 언어 감지, 지정된 언어)과 각 평가 항목의 프롬프트 및 채점 스크립트가 제공되어 재현이 용이합니다

사용법

  • Transformers(5.19 이상, 5.23 미만): AutoProcessor와 AutoModelForMultimodalLM을 trust_remote_code=True로 로드하며, 오디오는 16kHz 모노 채널로 읽어들입니다. processor.apply_transcription_request(audio, prompt="...")를 호출한 후 generate를 실행합니다
  • vLLM(공식 권장): hf download로 이 저장소의 vllm_plugin/* 파일을 다운로드한 후 pip install을 수행하면(vLLM 0.32.0이 설치됨) vllm serve를 실행할 수 있습니다. OpenAI 호환 /v1/audio/transcriptions 엔드포인트를 사용하며, 기본값은 단일 요청당 600초입니다. 30분까지 처리하려면 VLLM_MAX_AUDIO_DECODE_DURATION_S를 1800로 설정하세요
  • 고유 명사 힌트는 "This audio may contain the following words or phrases: {keywords}. Transcribe the audio into text." 형식을 사용하며, 공식적으로는 탐욕 디코딩(temperature=0)을 사용하고 thinking 기능을 비활성화할 것을 권장합니다

리스크

  • 중국어를 지원하지 않으며 스트리밍 인식도 지원하지 않습니다. 순위와 속도는 모두 공식적인 주장이며, 평가 표는 이미지로만 제공됩니다
  • 네이티브 지원은 아직 vLLM 및 Transformers에 병합 중이므로 현재는 trust_remote_code 또는 공식 플러그인이 필요합니다. 속도는 96GB VRAM을 갖춘 전문 GPU에서 측정되었으며, 일반 그래픽 카드에서 실행 가능한지 여부는 공식적으로 명시되지 않았습니다
  • 일부 경우 특정 글자나 구문이 길이 제한까지 반복될 수 있으며, 공식적으로는 후처리를 통해 이를 제거합니다. 긴 녹음 파일은 휴지 구간을 기준으로 분할하는 것이 좋습니다. 이 항목은 실행되지 않았습니다

열기

Hugging Face Trending

최신 AI 소식 보기