Hy4 flash: 텐센트 혼위안의 저비용 멀티모달 MoE 모델

텐센트 혼위안 팀이 11월 17일에 업로드한 지시 모델입니다. 모델 카드에 따르면 총 파라미터는 220B(이 중 약 64B는 N-gram 임베딩인 Engram)이며, 토큰당 활성화되는 파라미터는 약 11.3B의 텍스트 파라미터와 0.43B의 비전 파라미터입니다. 텍스트와 이미지를 네이티브로 입력받아 텍스트를 출력하며, 컨텍스트 길이는 1M 토큰입니다. Hy4에 비해 희소 어텐션과 슬라이딩 윈도우 어텐션을 1:3 비율로 교대로 적용하고, 라우팅된 전문가를 저차원 잠재 공간에 배치(512개 중 16개 선택, 추가로 1개의 공유 전문가 포함)했으며, 바이그램/트리그램 N-gram 임베딩을 도입했습니다. 또한 0.85B 파라미터와 5 레이어를 갖춘 추론 디코딩 드래프트 모듈인 DFly2을 포함합니다. FP8 버전과 사전 학습된 기본 모델 Hy4 flash-base도 함께 공개되었으며, 라이선스는 텐센트 혼위안 라이선스입니다.

원제: tencent/Hy4-flash

텐센트 혼위안 팀이 11월 17일에 업로드한 지시 모델입니다. 모델 카드에 따르면 총 파라미터는 220B(이 중 약 64B는 N-gram 임베딩인 Engram)이며, 토큰당 활성화되는 파라미터는 약 11.3B의 텍스트 파라미터와 0.43B의 비전 파라미터입니다. 텍스트와 이미지를 네이티브로 입력받아 텍스트를 출력하며, 컨텍스트 길이는 1M 토큰입니다. Hy4에 비해 희소 어텐션과 슬라이딩 윈도우 어텐션을 1:3 비율로 교대로 적용하고, 라우팅된 전문가를 저차원 잠재 공간에 배치(512개 중 16개 선택, 추가로 1개의 공유 전문가 포함)했으며, 바이그램/트리그램 N-gram 임베딩을 도입했습니다. 또한 0.85B 파라미터와 5 레이어를 갖춘 추론 디코딩 드래프트 모듈인 DFly2을 포함합니다. FP8 버전과 사전 학습된 기본 모델 Hy4 flash-base도 함께 공개되었으며, 라이선스는 텐센트 혼위안 라이선스입니다.

왜 중요한가 공식적으로 오피스 작업 점수가 Hy4 preview보다 약간 높고, 단일 작업 비용은 그 1/13 수준이라고 주장합니다. 자체 드래프트 모듈을 통해 긴 컨텍스트 디코딩 속도를 가속화합니다.

상승 점수 213 · 좋아요 234 · 다운로드 수 159

이유

  • 공식적으로 KV 캐시가 Hy3의 1/24, Hy4의 1/6 수준으로 감소했으며, 강화 학습을 통해 평균 출력 토큰 수가 50% 감소했다고 주장합니다. 메가커널, 4비트 양자화 및 DFly2을 결합하여 디코딩 속도가 150 토큰/s를 초과합니다.
  • 공식 내부 벤치마크인 WorkIndex(슬라이드 제작, 문서 수정, 표 수정, 오디오/비디오 처리 등 8개 작업 그룹)에서 42.1점을 기록했으며, Hy4 preview는 39.7점, Hy4는 51.4점입니다. 작업당 평균 비용은 Hy4 preview의 약 1/13, Hy4의 1/20, DeepSeek-V4.1-Flash-1017의 1/8 수준입니다.
  • 내부 WorkBuddy 사용자 85명, 작업 259개 대상 블라인드 평가: 만족도 2.79/4(Claude Haiku 5.5는 2.81/4), 완료 시간 중앙값 6.7분, 작업당 약 0.26위안

사용법

  • Transformers 지원이 아직 병합되지 않았으므로, 모델 카드의 명령어에 따라 transformers의 PR #50903에서 설치하십시오. AutoModelForImageTextToText를 사용하여 로드하며, reasoning_effort를 high(기본값, 사고 모드 켜짐) 또는 no_think로 설정하고, temperature 0.9, top_p 1.0을 권장합니다.
  • 서비스 배포: vLLM 공식 이미지 vllm/vllm-openai:hy4-flash로 FP8 버전을 실행합니다(예시: --tensor-parallel-size 8, DFly 추론 5개 토큰, --tool-call-parser hy_v4 --reasoning-parser hy_v4). SGLang은 lmsysorg/sglang:hy4-flash를 사용하며(--tp 8, --speculative-algorithm DFLY) 옵션을 사용합니다.
  • 공식적으로 심층 검색, 문서 처리, 슬라이드 제작, 간단한 프론트엔드 데모 및 컴퓨터 조작에 사용하도록 권장하며, 긴 체인의 소프트웨어 엔지니어링 작업에는 Hy4 사용을 권장합니다. AngelSlim은 엔드투엔드 테스트를 위해 GGUF 버전을 별도로 제공하며, 저장소에는 미세 조정 가이드가 포함되어 있습니다.

리스크

  • 텐센트 혼위안 라이선스는 표준 오픈소스 라이선스가 아닙니다: 모델-as-a-서비스(MaaS) 비즈니스를 운영하면서 전 세계 연간 수익이 5000만 달러를 초과하거나 제품 월간 활성 사용자(MAU)가 1억을 초과할 경우, 서면 라이선스를 별도로 체결해야 합니다(순수 내부 사용 제외).
  • 공식 배포 예시는 모두 8카드 텐서 병렬 처리를 사용하며, 단일 카드나 소비자용 그래픽 카드의 VRAM 요구 사항에 대해서는 명시되어 있지 않습니다.
  • WorkIndex와 블라인드 평가 모두 공식 내부 데이터입니다. 공식적으로 기본 모델이 소수 샘플(few-shot) 평가에서 간혹 형식을 따르지 않는 경우가 있어 점수에 영향을 미칠 수 있다고 경고합니다. 이 항목은 실행되지 않았습니다.

열기

Hugging Face Trending

최신 AI 소식 보기