Mistral의 멀티모달 MoE 모델로, 총 매개변수 1T, 토큰당 활성화 매개변수 52B이며, 10월 30일에 이미 등재되었습니다. 이번 재등재는 11월 2일에 저장소에 기술 보고서(assets/technical_report.pdf)가 추가되어 학습, 아키텍처 트레이드오프 및 배포 세부 사항이 명시되었기 때문이며, 모델 가중치는 변경되지 않았습니다.
상승 점수 503 · 좋아요 1500 · 다운로드 수 5500
이유
- 10월 30일 대비 가장 주목할 만한 새로운 내용은 보고서의 '에이전트 페널티'입니다. VRAM 절약을 위해 ML4은 원래 512 윈도우 슬라이딩 어텐션, 레이어 간 KV 공유 및 YOCO를 사용하여 KV 캐시를 전체 어텐션의 1/16까지 압축했으며, 퍼플렉시티와 지식 기반 질문에는 거의 영향을 미치지 않았지만, SFT 이후 SWE-bench, BrowseComp 같은 긴 컨텍스트 에이전트 작업 성능이 현저히 저하되었습니다. 따라서 2단계 사전 학습 전에 '모델 수술'을 통해 전체 어텐션에 가까운 구조(YOCO만 유지)로 되돌렸고, 이후 DeepSeek 희소 어텐션으로 교체했습니다.
- 학습 및 후처리: 파리 인근의 3,840개 GB200 GPU에서 45일간 사전 학습을 수행했으며, 약 415만 GPU 시간을 사용했습니다. 후처리 단계에서는 에이전트가 실행 가능한 환경, 작업, 참조 솔루션 및 검증기를 자동으로 작성하여 소프트웨어 공학, 사이버 보안 및 지식 작업을 커버했습니다. low / medium / high의 세 가지 추론 강도는 서로 다른 길이 페널티를 가진 세 개의 교사 모델을 하나의 모델로 증류(distillation)하여 얻은 것입니다.
- 공식적으로 Terminal-Bench 4.0 41%, FrontierCode 2.0 19.7%, AA Cyber Index 50.9%을 주장합니다. 라우팅 전문가만 NVFP4로 양자화한 체크포인트는 606GB이며, 모든 평가에서 FP8 버전과 동등한 성능을 보였고, 4개의 GB300 GPU로 배포할 수 있습니다.
사용법
- 보고서는 모델 페이지의 Files 탭 내 assets/technical_report.pdf에 있습니다. 배포 방식은 변경되지 않았습니다: vLLM은 vllm/vllm-openai:mistral-large-4 이미지를, SGLang은 lmsysorg/sglang:mistral-large-4 이미지를 사용하며, 요청 시 reasoning_effort 파라미터로 low / medium / high를 선택합니다.
- VRAM이 부족하다면 NVFP4 버전인 mistralai/Mistral-Large-4-1T-A52B-NVFP4(Blackwell GPU 대상)를 참조하거나, Mistral API의 mistral-large-4을 직접 호출하십시오.
리스크
- 보고서의 비교 표는 대부분 공식 자체 테스트 또는 내부 평가 결과입니다. 동일한 표에서 DeepSeek-V4.1-Flash-1017의 AA Cyber Index는 56.8%로 더 높으며, ML4의 HLE-Diamond 17.3% 및 AA-Omniscience 정확도 26.0%는 표에서 상대적으로 낮습니다.
- 1T 매개변수로 인해 FP8 원본과 NVFP4 버전 모두 여러 개의 데이터센터급 GPU가 필요하며, 개인용 디바이스에서는 실행할 수 없습니다.
- 라이선스는 Mistral Ecosystem Open-Weight License(수정된 MIT)이며, 모델-as-a-Service(MaaS) 비즈니스를 운영하려면 별도의 상업용 라이선스를 체결해야 합니다.