Hy4 flash:腾讯混元的低成本图文 MoE 模型

腾讯混元团队 11 月 17 日上传的指令模型。模型卡称总参数 220B(其中约 64B 是 N-gram 嵌入 Engram),每 token 激活约 11.3B 文本参数加 0.43B 视觉参数,原生输入文字和图片、输出文字,上下文 1M token。相比 Hy4,它把稀疏注意力和滑动窗口注意力按 1:3 交替,路由专家放进低维潜空间(512 选 16,另加 1 个共享专家),并加入二元 / 三元 N-gram 嵌入;另带 0.85B 参数、5 层的推测解码草稿模块 DFly2。同时放出 FP8 版和预训练底模 Hy4 flash-base,许可为腾讯混元许可。

原题:tencent/Hy4-flash

腾讯混元团队 11 月 17 日上传的指令模型。模型卡称总参数 220B(其中约 64B 是 N-gram 嵌入 Engram),每 token 激活约 11.3B 文本参数加 0.43B 视觉参数,原生输入文字和图片、输出文字,上下文 1M token。相比 Hy4,它把稀疏注意力和滑动窗口注意力按 1:3 交替,路由专家放进低维潜空间(512 选 16,另加 1 个共享专家),并加入二元 / 三元 N-gram 嵌入;另带 0.85B 参数、5 层的推测解码草稿模块 DFly2。同时放出 FP8 版和预训练底模 Hy4 flash-base,许可为腾讯混元许可。

为什么重要 官方称办公任务得分略高于 Hy4 preview,单任务成本只有它的十三分之一;自带草稿模块加速长上下文解码

上升分 213 · 点赞 234 · 下载量 159

理由

  • 官方称 KV 缓存降到 Hy3 的 1/24、Hy4 的 1/6,强化学习让平均输出 token 减少 50%;结合 megakernel、4 位量化和 DFly2,解码速度超过 150 token/s
  • 官方内部基准 WorkIndex(做幻灯片、改文档、修表格、音视频处理等 8 组任务)得 42.1,Hy4 preview 为 39.7、Hy4 为 51.4;每任务平均成本约为 Hy4 preview 的 1/13、Hy4 的 1/20、DeepSeek-V4.1-Flash-1017 的 1/8
  • 85 名内部 WorkBuddy 用户、259 个任务的盲评:满意度 2.79/4(Claude Haiku 5.5 为 2.81/4),完成时间中位数 6.7 分钟,每任务约 0.26 元

用法

  • Transformers 支持还没合并,按卡里命令从 transformers 的 PR #50903 安装;用 AutoModelForImageTextToText 加载,reasoning_effort 设 high(默认,开思考)或 no_think,推荐 temperature 0.9、top_p 1.0
  • 服务部署:vLLM 官方镜像 vllm/vllm-openai:hy4-flash 跑 FP8 版(示例 --tensor-parallel-size 8,DFly 推测 5 个 token,--tool-call-parser hy_v4 --reasoning-parser hy_v4);SGLang 用 lmsysorg/sglang:hy4-flash(--tp 8,--speculative-algorithm DFLY)
  • 官方建议用于深度搜索、文档处理、做幻灯片、简单前端演示和电脑操作,长链软件工程建议换 Hy4;AngelSlim 另提供 GGUF 版供端到端测试,仓库附微调指南

风险

  • 腾讯混元许可不是标准开源许可:经营模型即服务(MaaS)业务、且全球年收入超过 5000 万美元或产品月活超过 1 亿时,要另签书面许可(纯内部使用除外)
  • 官方部署示例都是 8 卡张量并行,没写单卡或消费级显卡的显存需求
  • WorkIndex 和盲评都是官方内部数据;官方提示底模在少样本评测里偶尔不按格式作答,可能影响分数。本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态