Fluid Speech Pro: 소형 유럽 다국어 음성 인식 모델

FluidVoice 팀이 10월 30일에 업로드한 음성 인식 모델로, NVIDIA Parakeet TDT 0.6B v3을 기반으로 합니다. 모델 카드에 따르면 파라미터 수는 0.63B이며, 영어, 독일어, 프랑스어, 스페인어, 러시아어, 우크라이나어 등(중국어 제외) 25개의 유럽 언어를 지원합니다. 프롬프트 없이도 언어를 자동으로 인식하며, 구두점과 대소문자가 포함된 출력을 생성합니다. NeMo / Transformers, ONNX, MLX, GGUF, Core ML의 5가지 버전을 제공하며, 중복 단어 및 '음', '아'와 같은 추임새를 제거하는 선택적 '정리 모드(Clean Mode)'를 지원합니다. CC BY 4.0 라이선스입니다.

원제: FluidVoice-Labs/fluid-speech-pro

FluidVoice 팀이 10월 30일에 업로드한 음성 인식 모델로, NVIDIA Parakeet TDT 0.6B v3을 기반으로 합니다. 모델 카드에 따르면 파라미터 수는 0.63B이며, 영어, 독일어, 프랑스어, 스페인어, 러시아어, 우크라이나어 등(중국어 제외) 25개의 유럽 언어를 지원합니다. 프롬프트 없이도 언어를 자동으로 인식하며, 구두점과 대소문자가 포함된 출력을 생성합니다. NeMo / Transformers, ONNX, MLX, GGUF, Core ML의 5가지 버전을 제공하며, 중복 단어 및 '음', '아'와 같은 추임새를 제거하는 선택적 '정리 모드(Clean Mode)'를 지원합니다. CC BY 4.0 라이선스입니다.

중요한 이유 모델 크기가 작고 상업적 사용이 가능한 라이선스를 제공하며, ONNX, MLX, GGUF, Core ML 버전도 있어 CPU 및 Mac에서도 실행할 수 있습니다. 자막 생성, 회의록 작성 및 받아쓰기에 적합합니다.

상승 점수 46 · 좋아요 49 · 다운로드 수 8951

이유

  • 모델 카드에 따르면 Open ASR Leaderboard의 오픈 모델 중 순위는 2위이며, 평균 단어 오류율(WER)은 6.06로, 파라미터 수 1억(10)개 미만인 오픈 모델 중 가장 정확합니다. 소음이 있는 음성 데이터셋 URGENT에서의 WER은 9.83입니다 (참고: 원문의 문맥상 2024는 데이터셋 이름 일부이거나 누락된 수치일 수 있으나, 원문 구조를 유지함).
  • 저자에 따르면 단일 GPU에서 실시간의 약 3,700배 속도로 처리되며, 1시간 분량의 오디오는 약 1초 만에 변환됩니다. ONNX, MLX, GGUF 버전은 CPU 및 Apple 칩에서도 실행 가능합니다.
  • 기반 모델인 Parakeet TDT 0.6B v3과 비교할 때: 리더보드의 다국어 트랙에서 7개 언어 모두 성능이 향상되었으며, 평균 오류가 12%개 감소했습니다. FLEURS 벤치마크에서는 영어를 제외한 24개 언어의 평균 오류가 약 20%만큼 감소했습니다.

사용법

  • Transformers 5.22 이상: pipeline("automatic-speech-recognition", model="FluidVoice-Labs/fluid-speech-pro")를 사용하며, 16kHz 모노 오디오를 입력합니다.
  • 타임스탬프나 정리 모드(Clean Mode)가 필요한 경우 NeMo를 사용합니다: pip install "nemo\_toolkit\[asr\]" 실행 후, 이 저장소의 fluid\_speech.py 파일을 hf download로 다운로드하고, fluid\_speech.load("FluidVoice-Labs/fluid-speech-pro", map\_location="cuda", clean\_mode=True)를 호출합니다. transcribe(\[...\], timestamps=True)를 실행하면 단어별 타임스탬프가 반환됩니다.
  • 리더보드와 동일한 디코딩을 원할 경우: decoding.strategy를 malsd\_batch로 설정하고, beam\_size를 4로 설정합니다(저자에 따르면 평균 오류가 약 0.6%개 감소). CPU에서는 fluid-speech-pro-onnx, Mac에서는 fluid-speech-pro-mlx, C++에서는 fluid-speech-pro-gguf를 사용합니다.

리스크

  • 중국어는 지원되지 않습니다. 순위 및 속도는 모델 카드에 명시된 저자의 데이터이며, 저자는 자신의 오디오, 악센트 및 언어로 먼저 테스트해 볼 것을 권장합니다.
  • Transformers 버전은 작은 모듈 하나를 제거하고 그리디 디코딩만 수행하지만, 저자에 따르면 결과는 NeMo 버전과 거의 동일합니다. GGUF 버전에는 정리 모드(Clean Mode)가 없으며, Core ML 버전은 현재 지원되지 않습니다.
  • 정리 모드는 원문을 변형하므로, 정확한 전사(verbatim transcription)가 필요한 경우 사용하지 마십시오. CC BY 4.0 라이선스에 따라 사용 시 'Fluid Speech Pro by FluidVoice'로 출처를 표기해야 합니다. 이 항목은 실행되지 않았습니다.

열기

Hugging Face Trending

최신 AI 소식 보기