Mistral のマルチモーダル MoE モデルで、総パラメータ数は 1T、トークンあたりのアクティブパラメータは 52B です。10 月 30 日にすでに収録されていましたが、今回再収録したのは、11 月 2 日にリポジトリへ技術レポート（assets/technical_report.pdf）が追加され、学習、アーキテクチャのトレードオフ、デプロイの詳細が記載されたためです。モデルの重み自体は変更されていません。
上昇スコア 503 · いいね数 1500 · ダウンロード数 5500
理由
- 10 月 30 日の時点との比較で、レポート内で特に注目すべきは「エージェントペナルティ」です。VRAM を節約するため、ML4 は当初、512 ウィンドウのスライディングアテンション、層間 KV 共有、YOCO を採用し、KV キャッシュをフルアテンションの 1/16 に圧縮していました。これによりパープレキシティや知識ベースの問題への影響はほぼありませんでしたが、SFT 後に SWE-bench や BrowseComp といった長文脈のエージェントタスクで性能が著しく低下しました。そこで第 2 段階の事前学習の前に「モデル手術」を行い、YOCO のみを残してフルアテンションに近い構成に戻し、その後 DeepSeek スパーシアテンションへ変更しました。
- 学習と後処理：パリ近郊の 3,840 枚の GB200 を使用して 45 日間事前学習を行い、約 415 万 GPU 時間を消費しました。後処理では、エージェントが実行可能な環境、タスク、参考解、検証器を自動生成し、ソフトウェアエンジニアリング、サイバーセキュリティ、知識ワークをカバーしています。low / medium / high の 3 段階の推論強度は、長さペナルティが異なる 3 つの教師モデルを同一のモデルへ蒸留することで実現されています。
- 公式によれば、Terminal-Bench 4.0 41%、FrontierCode 2.0 19.7%、AA Cyber Index 50.9% を達成しています。ルーティングエキスパートのみを NVFP4 に量子化した場合、チェックポイントサイズは 606 GB となり、すべての評価で FP8 バージョンと同等の性能を維持し、4 枚の GB300 でデプロイ可能です。
使い方
- レポートはモデルページの Files タブ内にある assets/technical_report.pdf にあります。デプロイ方法に変更はありません：vLLM では vllm/vllm-openai:mistral-large-4 イメージ、SGLang では lmsysorg/sglang:mistral-large-4 イメージを使用し、リクエスト内で reasoning_effort を指定して low / medium / high を選択します。
- VRAM が不足する場合は、NVFP4 バージョンの mistralai/Mistral-Large-4-1T-A52B-NVFP4（Blackwell GPU 向け）を検討するか、Mistral API の mistral-large-4 を直接呼び出してください。
リスク
- レポート内の比較表の多くは公式による自己テストまたは内部評価です。同じ表内で DeepSeek-V4.1-Flash-1017 の AA Cyber Index は 56.8% とより高くなっています。また、ML4 の HLE-Diamond スコア 17.3% や AA-Omniscience 正答率 26.0% は表内で低めです。
- パラメータ数が 1T あるため、FP8 原版も NVFP4 バージョンも複数のデータセンター級 GPU が必要であり、個人デバイスでの実行はできません。
- ライセンスは Mistral Ecosystem Open-Weight License（修正された MIT）です。Model-as-a-Service（MaaS）事業を行う場合は、別途商業ライセンスを締結する必要があります。