Titre original : tencent/Hy4-flash
Modèle d'instructions publié par l'équipe Tencent Hunyuan le 17 11. La fiche du modèle indique un total de 220B de paramètres (dont environ 64B sont des embeddings N-gram Engram), avec environ 11.3B de paramètres texte et 0.43B de paramètres visuels activés par token. Il accepte nativement du texte et des images en entrée et produit du texte en sortie, avec une fenêtre de contexte de 1M tokens. Par rapport à Hy4, il alterne l'attention épaisse et l'attention à fenêtre glissante selon un ratio de 1:3, place les experts routés dans un espace latent de basse dimension (512 sélectionnés parmi 16, plus 1 experts partagés), et ajoute des embeddings N-gram binaires / ternaires. Il inclut également un module de décodage spéculatif DFly2 de 5 couches et 0.85B de paramètres. Une version FP8 et le modèle de base pré-entraîné Hy4 flash-base sont également disponibles, sous la licence Tencent Hunyuan.
Pourquoi c'est important Officiellement, les scores sur les tâches de bureau sont légèrement supérieurs à ceux de Hy4 preview, tandis que le coût par tâche n'est que le treizième de celui-ci ; le module de brouillon intégré accélère le décodage en contexte long
Score en hausse de 213 · J'aime 234 · Téléchargements 159
Raisons
- Officiellement, le cache KV est réduit à 1/24 de celui de Hy3 et à 1/6 de celui de Hy4, et l'apprentissage par renforcement réduit le nombre moyen de tokens de sortie de 50% ; combiné au megakernel, à la quantification 4 bits et à DFly2, la vitesse de décodage dépasse 150 tokens/s
- Sur le benchmark interne WorkIndex (création de diapositives, modification de documents, correction de tableaux, traitement audio/vidéo, etc., soit 8 groupes de tâches), le score est de 42.1, contre 39.7 pour Hy4 preview et 51.4 pour Hy4 ; le coût moyen par tâche est d'environ 1/13 de celui de Hy4 preview, 1/20 de celui de Hy4 et 1/8 de celui de DeepSeek-V4.1-Flash-1017
- Évaluation en aveugle auprès de 85 utilisateurs internes de WorkBuddy sur 259 tâches : satisfaction de 2.79/4 (contre 2.81/4 pour Claude Haiku 5.5), temps médian d'achèvement de 6.7 minutes, coût d'environ 0.26 yuans par tâche
Utilisation
- Le support Transformers n'est pas encore fusionné ; installez-le via la PR #50903 de transformers en suivant les commandes de la fiche ; chargez-le avec AutoModelForImageTextToText, définissez reasoning_effort sur high (par défaut, active la réflexion) ou no_think, avec une température recommandée de 0.9 et un top_p de 1.0
- Déploiement de service : l'image officielle vLLM vllm/vllm-openai:hy4-flash exécute la version FP8 (exemple : --tensor-parallel-size 8, décodage spéculatif DFly de 5 tokens, --tool-call-parser hy_v4 --reasoning-parser hy_v4) ; SGLang utilise lmsysorg/sglang:hy4-flash (--tp 8, --speculative-algorithm DFLY)
- Recommandations officielles : recherche approfondie, traitement de documents, création de diapositives, démonstrations front-end simples et contrôle d'ordinateur ; pour l'ingénierie logicielle à chaîne longue, préférez Hy4 ; AngelSlim fournit également une version GGUF pour les tests de bout en bout, et le dépôt inclut un guide de fine-tuning
Risques
- La licence Tencent Hunyuan n'est pas une licence open source standard : si vous exploitez un service de modèle en tant que service (MaaS) et que votre chiffre d'affaires annuel mondial dépasse 5000 millions de dollars américains ou que votre produit dépasse 1 millions d'utilisateurs actifs mensuels, une licence écrite supplémentaire est requise (sauf usage purement interne)
- Tous les exemples de déploiement officiels utilisent un parallélisme tensoriel sur 8 cartes, sans spécifier les besoins en mémoire vidéo pour une seule carte ou des cartes graphiques grand public
- WorkIndex et les évaluations en aveugle sont des données internes officielles ; les officiels notent que le modèle de base peut parfois ne pas respecter le format de réponse lors des évaluations few-shot, ce qui peut affecter les scores. Cette entrée n'a pas été exécutée