原题:tencent/Hy4-flash
腾讯混元チームが 11 月 17 日に公開した指示モデル。モデルカードによると、総パラメータ数は 220B(うち約 64B は N-gram 埋め込み Engram)、トークンごとにアクティブ化されるのは約 11.3B のテキストパラメータと 0.43B の視覚パラメータ。テキストと画像をネイティブに入力し、テキストを出力する。コンテキスト長は 1M トークン。Hy4 と比較して、スパースアテンションとスライディングウィンドウアテンションを 1:3 の割合で交互に配置し、ルーティングされたエキスパートを低次元潜在空間に配置(512 個から 16 個を選択、さらに 1 個の共有エキスパートを追加)、バイグラム/トリグラムの N-gram 埋め込みを追加した。さらに、パラメータ数 0.85B、層数 5 の推論デコード用ドラフトモジュール DFly2 を搭載。同時に FP8 版と事前学習ベースモデル Hy4 flash-base も公開され、ライセンスは腾讯混元ライセンス。
なぜ重要か 公式によれば、オフィスタスクのスコアは Hy4 preview よりわずかに高く、1タスクあたりのコストはその13分の1。ドラフトモジュールを内蔵し、長いコンテキストのデコードを高速化
上昇スコア 213 · いいね 234 · ダウンロード数 159
理由
- 公式によれば、KV キャッシュは Hy3 の 1/24、Hy4 の 1/6 まで削減され、強化学習により平均出力トークン数が 50% 減少。megakernel、4 ビット量子化、DFly2 を組み合わせることで、デコード速度は 150 トークン/秒を超過
- 公式内部ベンチマーク WorkIndex(スライド作成、ドキュメント編集、表の修正、音声・動画処理など 8 組のタスク)で 42.1 を獲得。Hy4 preview は 39.7、Hy4 は 51.4。1タスクあたりの平均コストは Hy4 preview の約 1/13、Hy4 の 1/20、DeepSeek-V4.1-Flash-1017 の 1/8
- 内部 WorkBuddy ユーザー 85 名、タスク 259 件でのブラインド評価:満足度 2.79/4(Claude Haiku 5.5 は 2.81/4)、完了時間の中央値は 6.7 分、1タスクあたり約 0.26 元
使い方
- Transformers のサポートはまだマージされていないため、モデルカード内のコマンドに従い、transformers の PR #50903 からインストール。AutoModelForImageTextToText で読み込み、reasoning_effort を high(デフォルト、思考モードオン)または no_think に設定。推奨は temperature 0.9、top_p 1.0
- サービスデプロイ:vLLM 公式イメージ vllm/vllm-openai:hy4-flash で FP8 版を実行(例:--tensor-parallel-size 8、DFly 推論で 5 トークン、--tool-call-parser hy_v4 --reasoning-parser hy_v4)。SGLang は lmsysorg/sglang:hy4-flash を使用(--tp 8、--speculative-algorithm DFLY)
- 公式は、深い検索、ドキュメント処理、スライド作成、シンプルなフロントエンドデモ、コンピュータ操作での使用を推奨。長いチェーンのソフトウェアエンジニアリングタスクには Hy4 を推奨。AngelSlim は別途、エンドツーエンドテスト用に GGUF 版を提供しており、リポジトリにはファインチューニングガイドが付属
リスク
- 腾讯混元ライセンスは標準的なオープンソースライセンスではない。Model as a Service(MaaS)事業を運営し、かつ年間グローバル収入が 5000 万ドルを超えるか、製品の月間アクティブユーザーが 1 億を超える場合は、別途書面によるライセンス契約が必要(純粋な社内利用を除く)
- 公式のデプロイ例はすべて 8 カードのテンソル並列であり、単一カードやコンシューマー向け GPU のメモリ要件は記載されていない
- WorkIndex とブラインド評価はすべて公式の内部データ。公式は、ベースモデルが少数ショット評価で時折フォーマットに従わず回答することがあり、スコアに影響する可能性があることを示唆している。本項目は未実行