Tên gốc: tencent/Hy4-flash
Mô hình chỉ dẫn do đội ngũ Tencent Hunyuan tải lên vào ngày 17 tháng 11. Thẻ mô hình cho biết tổng số tham số là 220B (trong đó khoảng 64B là nhúng Engram N-gram), mỗi token kích hoạt khoảng 11.3B tham số văn bản cộng với 0.43B tham số thị giác, hỗ trợ đầu vào gốc cả văn bản và hình ảnh, đầu ra là văn bản, với ngữ cảnh 1M token. So với Hy4, mô hình này xen kẽ cơ chế chú ý thưa và chú ý cửa sổ trượt theo tỷ lệ 1:3, đưa các chuyên gia định tuyến vào không gian tiềm ẩn chiều thấp (chọn 16 từ 512, cộng thêm 1 chuyên gia chia sẻ), và bổ sung nhúng N-gram nhị phân / tam phân; ngoài ra còn kèm theo mô-đun giải mã dự đoán DFly2 với 5 lớp và 0.85B tham số. Đồng thời phát hành phiên bản FP8 và mô hình cơ sở tiền huấn luyện Hy4 flash-base, giấy phép là Giấy phép Tencent Hunyuan.
Tại sao quan trọng Chính thức cho biết điểm số trong các tác vụ văn phòng cao hơn một chút so với Hy4 preview, chi phí cho mỗi tác vụ chỉ bằng một phần mười ba; tích hợp sẵn mô-đun nháp để tăng tốc giải mã ngữ cảnh dài
Điểm tăng 213 · Lượt thích 234 · Lượt tải xuống 159
Lý do
- Chính thức cho biết bộ nhớ đệm KV giảm xuống còn 1/24 so với Hy3 và 1/6 so với Hy4, học tăng cường giúp giảm số lượng token đầu ra trung bình đi 50%; kết hợp megakernel, lượng tử hóa 4 bit và DFly2, tốc độ giải mã vượt quá 150 token/s
- Điểm số trên WorkIndex (bộ chuẩn nội bộ của chính thức, bao gồm 8 nhóm tác vụ như làm slide, chỉnh sửa tài liệu, sửa bảng tính, xử lý âm thanh và video) là 42.1, trong khi Hy4 preview đạt 39.7 và Hy4 đạt 51.4; chi phí trung bình mỗi tác vụ khoảng 1/13 so với Hy4 preview, 1/20 so với Hy4 và 1/8 so với DeepSeek-V4.1-Flash-1017
- Đánh giá mù với 85 người dùng nội bộ WorkBuddy và 259 tác vụ: mức độ hài lòng đạt 2.79/4 (Claude Haiku 5.5 đạt 2.81/4), thời gian hoàn thành trung vị là 6.7 phút, chi phí khoảng 0.26 nhân dân tệ mỗi tác vụ
Cách sử dụng
- Hỗ trợ Transformers chưa được hợp nhất, hãy cài đặt từ PR #50903 của transformers theo lệnh trong thẻ mô hình; sử dụng AutoModelForImageTextToText để tải mô hình, đặt reasoning_effort thành high (mặc định, bật suy luận) hoặc no_think, khuyến nghị temperature 0.9, top_p 1.0
- Triển khai dịch vụ: sử dụng hình ảnh chính thức của vLLM là vllm/vllm-openai:hy4-flash để chạy phiên bản FP8 (ví dụ: --tensor-parallel-size 8, DFly dự đoán 5 token, --tool-call-parser hy_v4 --reasoning-parser hy_v4); SGLang sử dụng lmsysorg/sglang:hy4-flash (--tp 8, --speculative-algorithm DFLY)
- Chính thức khuyến nghị sử dụng cho tìm kiếm sâu, xử lý tài liệu, tạo slide, demo frontend đơn giản và điều khiển máy tính; đối với kỹ thuật phần mềm chuỗi dài, nên chuyển sang Hy4; AngelSlim cung cấp thêm phiên bản GGUF để kiểm thử end-to-end, kho lưu trữ kèm theo hướng dẫn tinh chỉnh
Rủi ro
- Giấy phép Tencent Hunyuan không phải là giấy phép mã nguồn mở tiêu chuẩn: nếu kinh doanh dịch vụ mô hình (MaaS) và doanh thu toàn cầu hàng năm vượt quá 5000 vạn USD hoặc người dùng hoạt động hàng tháng của sản phẩm vượt quá 1 trăm triệu, cần ký giấy phép bằng văn bản riêng (trừ trường hợp sử dụng nội bộ thuần túy)
- Các ví dụ triển khai chính thức đều sử dụng song song tensor trên 8 card, không nêu rõ yêu cầu bộ nhớ VRAM cho một card hoặc card đồ họa tiêu dùng
- WorkIndex và đánh giá mù đều là dữ liệu nội bộ của chính thức; chính thức lưu ý rằng mô hình cơ sở đôi khi không tuân thủ định dạng trong các bài đánh giá few-shot, có thể ảnh hưởng đến điểm số. Bài viết này chưa chạy thử