Mistral 的多模态 MoE 模型，总参数 1T、每个 token 激活 52B，10 月 30 日已经收录。这次重新收录，是因为 11 月 2 日仓库里加了一份技术报告（assets/technical_report.pdf），把训练、架构取舍和部署细节都写了出来；模型权重没变。
上升分 503 · 点赞 1500 · 下载量 5500
理由
- 和 10 月 30 日相比的新内容，最值得看的是报告里的“智能体惩罚”：为了省显存，ML4 原本用 512 窗口的滑动注意力、跨层 KV 共享和 YOCO，把 KV 缓存压到全注意力的 1/16，困惑度和知识题几乎没受影响，但 SFT 之后 SWE-bench、BrowseComp 这类长上下文智能体任务明显变差。于是在第二阶段预训练前做了一次“模型手术”，改回接近全注意力（只保留 YOCO），后来又换成 DeepSeek 稀疏注意力。
- 训练和后训练：在巴黎附近的 3,840 张 GB200 上预训练 45 天，约 415 万 GPU 小时；后训练由智能体自动编写可执行环境、任务、参考解和验证器，覆盖软件工程、网络安全和知识工作；low / medium / high 三档推理强度，是把三个长度惩罚不同的教师模型蒸馏进同一个模型得到的。
- 官方称 Terminal-Bench 4.0 41%、FrontierCode 2.0 19.7%、AA Cyber Index 50.9%；只把路由专家量化成 NVFP4 后检查点 606 GB，所有评测与 FP8 版持平，4 张 GB300 就能部署。
用法
- 报告在模型页 Files 里的 assets/technical_report.pdf。部署方式没变：vLLM 用 vllm/vllm-openai:mistral-large-4 镜像，SGLang 用 lmsysorg/sglang:mistral-large-4 镜像，请求里用 reasoning_effort 选 low / medium / high。
- 显存不够看 NVFP4 版 mistralai/Mistral-Large-4-1T-A52B-NVFP4（面向 Blackwell 显卡），或者直接调用 Mistral API 的 mistral-large-4。
风险
- 报告里的对比表多是官方自测或内部评测。同一张表里 DeepSeek-V4.1-Flash-1017 的 AA Cyber Index 是 56.8%，更高；ML4 的 HLE-Diamond 17.3%、AA-Omniscience 准确率 26.0% 在表里偏低。
- 1T 参数，FP8 原版和 NVFP4 版都要多张数据中心级 GPU，个人设备跑不了。
- 许可是 Mistral Ecosystem Open-Weight License（改过的 MIT），做模型即服务（MaaS）生意要另签商业许可。