Le modèle de traduction simultanée en temps réel de Tencent Hunyuan, bidirectionnel entre le chinois et l'anglais : il reçoit en continu des flux audio et génère le texte traduit en cours d'écoute. Une fois le service TTS configuré, il peut également produire une voix traduite conservant le timbre du locuteur. Il s'agit de la version quantifiée FP8. La série comprend également des versions BF16 et GGUF, ainsi qu'une version Interleave qui génère simultanément le texte original et la traduction.
Score de progression 132 · J'aime 135 · Nombre de téléchargements 93
Raisons
- Selon les données officielles, sur l'évaluation audio longue RealSI, le StreamLAAL (retard de traduction en flux) est d'environ 3 secondes, la valeur la plus basse parmi les systèmes comparés. Le score de qualité GEMBA est supérieur à celui des modèles open source comparés et de 4 des 5 API commerciales testées ; les données officielles précisent également que le StreamLAAL ne correspond pas au temps de première émission vocale.
- Selon les données officielles, sur quatre benchmarks audio courts : FLEURS 90.3, CoVoST2 75.5, ACL6060 81.2, RealSI-Sentence 84.7 (le meilleur score du tableau) ; le score FLEURS est inférieur aux 92.4 de Gemini3.5-LiveTranslate, et le score CoVoST2 est inférieur aux 82.1 de Qwen3.8-LiveTranslate.
- Les données officielles comparent également 18 extraits audio chinois-anglais apparus après 9 2026 (chaque extrait d'environ 6 minutes) avec les performances de 6 interprètes simultanés titulaires des certificats CATTI de niveau 1 et 2. Les résultats indiquent une qualité équivalente et une latence souvent inférieure, mais notent que cette conclusion ne s'applique qu'à cet échantillon. Publié le 26 10, absent des éditions précédentes ; le score de progression 132 reflète uniquement le niveau d'attention.
Utilisation
- Déploiement en un clic : git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git，进入 SimulInfer/ puis exécutez bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave (l'option --model peut être remplacée par l'ID d'une autre version ou un chemin local) ; une fois le message Ready affiché, ouvrez http://127.0.0.1:8080/，选翻译方向，上传音频或开麦克风。
- Ligne de commande : curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F [email protected] ; pour générer une voix traduite avec clonage du timbre, copiez d'abord deploy.example.toml en deploy.toml, configurez-y la connexion TTS, puis exécutez bash deploy.sh --config deploy.toml.
- Environnement : Linux, Python 3.12+, GPU NVIDIA. Si un environnement existe déjà, il faut vLLM >=0.31 (prenant en charge HYV3ForCausalLM) et installer simulst ; SGLang-Omni est également utilisable (uniquement pour la version BF16, sortie texte uniquement, audio d'une seule requête limité à 30 secondes). Pour la version GGUF, il faut attendre la fusion de la PR #31198 dans llama.cpp.
Risques
- Ne prend en charge que la traduction entre le chinois et l'anglais ; les autres langues mentionnées dans les étiquettes ne sont pas documentées dans la fiche du modèle. La génération de voix traduite et le clonage du timbre dépendent d'un service TTS configuré séparément.
- La fiche du modèle n'indique pas les besoins en mémoire vidéo pour la version FP8 ; les données officielles indiquent que les poids de la version BF16 pèsent environ 57 GiB (hors cache KV), ce qui est gérable sur une seule carte H200.
- Les scores et la comparaison avec les interprètes sont des tests internes officiels ; l'échantillon pour la comparaison avec les interprètes est restreint. Aucune donnée de similarité n'est fournie pour le clonage du timbre. Les deux vidéos de démonstration sont des relectures hors ligne, et les données officielles précisent qu'elles ne peuvent pas être utilisées pour mesurer la latence.
Éditeur : Le dépôt GitHub contient l'outil d'entraînement SimulTrain, permettant de reprendre l'entraînement à partir de points de contrôle publiés. Si seule la traduction textuelle est nécessaire, la voie SGLang-Omni est plus légère, mais ne couvre pas la version FP8.