Confucius4-R2T2 : Reconnaissance vocale en flux continu sans modification des textes déjà émis

La reconnaissance vocale en flux continu modifie souvent les textes déjà émis, ce qui entraîne des actions inutiles ou erronées de la part des traducteurs et des agents vocaux situés en aval. R2T2 est entraîné postérieurement sur Qwen3-ASR-1.7B à l'aide de 1,500 heures d'audio en chinois et en anglais, avec un encodeur audio gelé. Les étiquettes « préfixe stable le plus long », proposées par les auteurs, enseignent au modèle quels caractères peuvent être définitivement émis et quand attendre davantage d'audio, sans modifier la structure du modèle. Les auteurs affirment que le taux d'erreur de reconnaissance est de 5.76% avec des blocs de 160 millisecondes, contre 21.01% pour le modèle de base dans les mêmes conditions, se rapprochant ainsi des 5.15% obtenus avec un contexte complet ; bien que l'entraînement n'utilise que le chinois et l'anglais, les améliorations s'étendent à dix autres langues.

Titre original : Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription

La reconnaissance vocale en flux continu modifie souvent les textes déjà émis, ce qui entraîne des actions inutiles ou erronées de la part des traducteurs et des agents vocaux situés en aval. R2T2 est entraîné postérieurement sur Qwen3-ASR-1.7B à l'aide de 1,500 heures d'audio en chinois et en anglais, avec un encodeur audio gelé. Les étiquettes « préfixe stable le plus long », proposées par les auteurs, enseignent au modèle quels caractères peuvent être définitivement émis et quand attendre davantage d'audio, sans modifier la structure du modèle. Les auteurs affirment que le taux d'erreur de reconnaissance est de 5.76% avec des blocs de 160 millisecondes, contre 21.01% pour le modèle de base dans les mêmes conditions, se rapprochant ainsi des 5.15% obtenus avec un contexte complet ; bien que l'entraînement n'utilise que le chinois et l'anglais, les améliorations s'étendent à dix autres langues.

Pourquoi c'est important La traduction simultanée et les agents vocaux agissent mot par mot en temps réel ; toute modification du texte entraîne des actions inutiles ou erronées. Les poids, le code d'inférence et le serveur sont tous disponibles publiquement.

J'aime 27 · Étoiles GitHub 871

Raisons

  • Conçu pour les sous-titres en temps réel, la traduction simultanée et les agents vocaux : les textes soumis ne sont plus modifiés, ce qui réduit le clignotement à l'écran et les retouches en aval.
  • Les poids sont disponibles sur Hugging Face et ModelScope, avec trois méthodes d'inférence (vLLM, transformers, llama.cpp) et un service WebSocket.
  • La durée des blocs peut être ajustée entre 80 millisecondes et 2 seconde, permettant de faire des compromis entre précision et latence sans réentraînement.

Utilisation

  • Code : https://github.com/netease-youdao/Confucius4-R2T2;权重:抱脸和魔搭 netease-youdao/Confucius4-R2T2
  • Le README recommande d'utiliser Docker pour exécuter les exemples, mais l'API Python permet également la transcription hors ligne ou en flux continu, ou le lancement d'un service WebSocket pour intégrer des applications ; démonstration en ligne https://r2t2.youdao.com/demo

Risques

  • L'entraînement postérieur n'a utilisé que le chinois et l'anglais ; les performances dans les autres langues dépendent des évaluations des auteurs.
  • Le README précise que les métriques de latence n'incluent pas le temps d'attente, réseau ou de rendu ; la latence réelle lors du déploiement sera plus élevée.
  • Les comparaisons avec d'autres modèles sont auto-rapportées par les auteurs et n'ont pas été vérifiées indépendamment dans cet article.

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA