SOV-Transcribe-1 : Modèle de transcription vocale à poids ouverts de Salesforce

Modèle de reconnaissance vocale non streaming téléchargé par Salesforce le 10 11, dont la fiche modèle indique un total de 26.6B paramètres (dont 4.6B actifs, incluant l'encodeur audio), composé de l'encodeur audio Whisper large-v3, d'une couche de projection et de Gemma 4 26B A4B MoE. Prend en charge 7 langues : anglais, français, allemand, espagnol, italien, portugais et néerlandais ; testé sur des segments audio uniques jusqu'à 30 minutes. Permet de choisir entre une transcription verbatim ou éditée, de contrôler la ponctuation et le formatage des chiffres via des instructions en langage naturel, et d'intégrer des noms propres, des termes ou des descriptions thématiques pour aider à la reconnaissance des mots difficiles. Licence Apache-2.0.

Titre original : salesforce-sovereign-intelligence/SOV-Transcribe-1

Modèle de reconnaissance vocale non streaming téléchargé par Salesforce le 10 11, dont la fiche modèle indique un total de 26.6B paramètres (dont 4.6B actifs, incluant l'encodeur audio), composé de l'encodeur audio Whisper large-v3, d'une couche de projection et de Gemma 4 26B A4B MoE. Prend en charge 7 langues : anglais, français, allemand, espagnol, italien, portugais et néerlandais ; testé sur des segments audio uniques jusqu'à 30 minutes. Permet de choisir entre une transcription verbatim ou éditée, de contrôler la ponctuation et le formatage des chiffres via des instructions en langage naturel, et d'intégrer des noms propres, des termes ou des descriptions thématiques pour aider à la reconnaissance des mots difficiles. Licence Apache-2.0.

Pourquoi c'est important Déployable sur vos propres serveurs, meilleure reconnaissance des détails tels que les noms, les numéros de téléphone et les adresses e-mail, et contrôle en une phrase du choix entre transcription verbatim ou éditée

Hausse de score 46 · J'aime 60 · Téléchargements 572

Raisons

  • Selon les données officielles au 12 11, ce modèle se classe 1 parmi les modèles à poids ouverts et 7 au classement général sur le leaderboard de transcription vocale non streaming d'Artificial Analysis, et se classe 2 en précision des entités et taux de réussite des tâches parmi les 23 systèmes de VoiceCodeBench
  • Il est accompagné d'un modèle de brouillon de décodage prédictif DFlash, offrant une décodage environ 2 à 3 fois plus rapide par requête ; les tests officiels sur une carte RTX PRO 6000 Blackwell ont montré un temps de réponse de 0.22 secondes pour un enregistrement de 30 secondes, avec une capacité de transcription maximale de 1,039 secondes d'audio par seconde
  • La fiche modèle fournit des modèles de prompts (verbatim, mots-clés, détection automatique de la langue, langue spécifiée) ainsi que les prompts et scripts d'évaluation pour chaque test, facilitant la reproductibilité

Utilisation

  • Transformers (>=5.19,<5.23) : Chargement via AutoProcessor et AutoModelForMultimodalLM avec trust_remote_code=True, lecture de l'audio en mono à 16 kHz, puis appel de processor.apply_transcription_request(audio, prompt="...") suivi de generate
  • vLLM (recommandé officiellement) : Téléchargez vllm_plugin/* depuis ce dépôt via hf download, puis installez-le avec pip (ce qui installera vLLM 0.32.0), lancez vllm serve et utilisez l'interface compatible OpenAI /v1/audio/transcriptions ; la durée par défaut est de 600 secondes, définissez VLLM_MAX_AUDIO_DECODE_DURATION_S sur 1800 pour atteindre 30 minutes
  • Pour les noms propres, utilisez le prompt : This audio may contain the following words or phrases: {keywords}. Transcribe the audio into text. ; les officiels recommandent un décodage glouton (temperature=0) et de désactiver le mode thinking

Risques

  • Ne prend pas en charge le chinois ni la reconnaissance streaming ; les classements et les vitesses sont des affirmations officielles, les tableaux d'évaluation ne sont disponibles que sous forme d'images
  • Le support natif est encore en cours d'intégration dans vLLM et Transformers, nécessitant actuellement trust_remote_code ou le plugin officiel ; les vitesses ont été mesurées sur des cartes professionnelles avec 96 Go de mémoire vidéo, et les officiels n'ont pas précisé si les cartes graphiques grand public peuvent supporter le modèle
  • Dans certains cas rares, le modèle peut répéter indéfiniment un mot ou une phrase jusqu'à la limite de longueur, ce que les officiels corrigent via un post-traitement ; il est recommandé de segmenter les enregistrements longs aux pauses. Cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA