Qwen3.8-Flash-Next 경량화 버전: 라우팅 전문가의 4분의 1 제거

nvidia/Qwen3.8-Flash-Next-FP4-Local 기반의 비공식 경량화 버전: 신경 아키텍처 검색(NAS)을 통해 각 디코더 MoE 레이어 및 MTP 레이어에서 유지할 라우팅 전문가를 선별하여 512개에서 384개로 줄였습니다. top-10 라우팅, 공유 전문가, 어텐션, 비전 타워 및 토크나이저는 변경되지 않았습니다. 가중치 크기는 102.14 GB에서 85.66 GB로 감소했습니다(약 −16.1%). 이후 검증 가능한 보상을 활용한 GRPO 방식의 LoRA 학습을 3라운드 수행했으며(마지막 라운드는 CVSS 점수 보정 및 구조화된 취약점 발견 출력에 초점을 맞춤), 이를 완전한 모델로 병합했습니다. 저자는 단일 평가에서 AIME 2026 점수가 95.0(참고 값 93.3), MMLU 87.37, GPQA-Diamond 75.76, MMMU 78.22 점수가 참고 값보다 약간 낮았다고 보고했습니다.

원제: autotrust/Qwen3.8-Flash-Next-E384-FP4-V2

nvidia/Qwen3.8-Flash-Next-FP4-Local 기반의 비공식 경량화 버전: 신경 아키텍처 검색(NAS)을 통해 각 디코더 MoE 레이어 및 MTP 레이어에서 유지할 라우팅 전문가를 선별하여 512개에서 384개로 줄였습니다. top-10 라우팅, 공유 전문가, 어텐션, 비전 타워 및 토크나이저는 변경되지 않았습니다. 가중치 크기는 102.14 GB에서 85.66 GB로 감소했습니다(약 −16.1%). 이후 검증 가능한 보상을 활용한 GRPO 방식의 LoRA 학습을 3라운드 수행했으며(마지막 라운드는 CVSS 점수 보정 및 구조화된 취약점 발견 출력에 초점을 맞춤), 이를 완전한 모델로 병합했습니다. 저자는 단일 평가에서 AIME 2026 점수가 95.0(참고 값 93.3), MMLU 87.37, GPQA-Diamond 75.76, MMMU 78.22 점수가 참고 값보다 약간 낮았다고 보고했습니다.

중요성 동일한 GPU에서 더 많은 KV 캐시 또는 동시 처리를 수용할 수 있습니다. 저자는 일반적인 문제의 성능과 해결되지 않은 문제를 모두 나열하여 판단을 돕습니다.

상승 점수 69 · 좋아요 2439 · 다운로드 수 55866

이유

  • 압축 방식은 일반적인 양자화와 다릅니다: 이미 FP4인 상태에서 전문가 수를 추가로 줄였으며, 토큰당 활성화되는 전문가 수는 변하지 않았습니다.
  • 저자는 B200 GPU 한 장에서 vLLM 0.31을 사용하여 검증했으며, 전체 실행 매개변수와 이식 가능한 스크립트 serve_vllm.sh를 제공합니다.

사용법

  • export PYTHONPATH="$PWD/vllm_patch"를 설정한 후 vllm serve . 명령어를 실행합니다. --quantization modelopt_mixed --kv-cache-dtype fp8 --reasoning-parser qwen3 --tool-call-parser qwen3_xml 등의 매개변수를 포함합니다(전체 명령어는 모델 카드 참조).
  • 저장소에 포함된 vllm_patch/sitecustomize.py가 필요하며, 없으면 이 체크포인트의 FP4 가중치 레이아웃을 읽을 수 없습니다.

리스크

  • 비공식 파생 버전으로, 알리바바와 엔비디아 모두 공식 인증하지 않았습니다. 라이선스는 NVIDIA Open Model Agreement입니다.
  • 저자는 CVSS 계산이 여전히 신뢰할 수 없음을 명시했습니다. 완료된 답변이 참고 구현과 완전히 일치하는 비율은 약 4.5%(CVSS3) 및 4.2%(CVSS4)입니다.
  • 모든 평가는 단일 실행으로 수행되었으며, 참고 값은 이미 공개된 수치에서 가져온 것으로 동일한 조건에서 재실행한 것이 아닙니다. 이 항목은 실행되지 않았습니다.

열기

Hugging Face Trending

최신 AI 소식 보기