Mistral Large 4:パラメータ数1兆のオープンウェイト・マルチモーダルMoEモデル

Mistral AIがこれまでで最大のモデル(ニックネーム Le Chonk)は、公式ブログで10月29日にオープンウェイトとしてリリースされたことを発表しました。ネイティブなマルチモーダルMoEアーキテクチャを採用し、総パラメータ数は約1兆、トークンごとにアクティブになるパラメータ数は490億(埋め込み層と出力層を含めると520億)、128個のルーティングエキスパートのうち毎回4個がアクティブになります。コンテキストウィンドウは100万トークンで、テキストと画像を入力として受け付けます。指示追従、推論、プログラミング、エージェント機能は同一のウェイトセットを共有し、推論強度はlow / medium / highの3段階からリクエストごとに切り替え可能です。関数呼び出しと厳密なJSON Schema出力に対応しています。公式によれば、Artificial Analysisのプログラミングエージェント指数で48%点を記録し、GLM-5.3とほぼ同等のパフォーマンスを示す一方で、タスクあたりの平均トークン使用量は47%削減されています。インテリジェンス指数v5では26点を獲得し、欧米のオープンウェイトモデルとしては最高スコアですが、中国の最先端オープンソースモデルには及ばない結果となっています。チェックポイントにはDSpark投機デコード用ドラフトヘッドが組み込まれており、公式によればスループットは最大1.9倍向上します。

原題:mistralai/Mistral-Large-4-1T-A52B

Mistral AIがこれまでで最大のモデル(ニックネーム Le Chonk)は、公式ブログで10月29日にオープンウェイトとしてリリースされたことを発表しました。ネイティブなマルチモーダルMoEアーキテクチャを採用し、総パラメータ数は約1兆、トークンごとにアクティブになるパラメータ数は490億(埋め込み層と出力層を含めると520億)、128個のルーティングエキスパートのうち毎回4個がアクティブになります。コンテキストウィンドウは100万トークンで、テキストと画像を入力として受け付けます。指示追従、推論、プログラミング、エージェント機能は同一のウェイトセットを共有し、推論強度はlow / medium / highの3段階からリクエストごとに切り替え可能です。関数呼び出しと厳密なJSON Schema出力に対応しています。公式によれば、Artificial Analysisのプログラミングエージェント指数で48%点を記録し、GLM-5.3とほぼ同等のパフォーマンスを示す一方で、タスクあたりの平均トークン使用量は47%削減されています。インテリジェンス指数v5では26点を獲得し、欧米のオープンウェイトモデルとしては最高スコアですが、中国の最先端オープンソースモデルには及ばない結果となっています。チェックポイントにはDSpark投機デコード用ドラフトヘッドが組み込まれており、公式によればスループットは最大1.9倍向上します。

なぜ重要か 欧米では希少なパラメータ数1兆規模のオープンウェイトモデルであり、公式によればプログラミングエージェントタスクでの成績は最先端のオープンソースモデルと同等で、トークン使用量はより少ない

上昇スコア 78 · いいね数 1646 · ダウンロード数 12541

理由

  • オープンウェイトモデルとしては希少なパラメータ数1兆規模の汎用モデルで、画像認識、推論、プログラミングエージェント、ツール呼び出しを単一のウェイトセットでカバー
  • 公式によれば、サイバーセキュリティ、金融、法律関連タスクおよび視覚的定位(Grounding)において優れた性能を発揮し、160以上の言語に対応
  • vLLM、SGLang、transformers、llama.cppがリリース初日からサポートしており、Axolotl、Unsloth、TRLによるファインチューニングが可能。さらにBlackwell向けにNVFP4量子化バージョンも提供

使い方

  • vLLM:公式イメージ vllm/vllm-openai:mistral-large-4 を使用し、8カードのテンソル並列処理を設定します。--tool-call-parser mistral --reasoning-parser mistral オプションを追加してください。DSpark投機デコードを有効にするには --speculative-config を追加します
  • 公式推奨設定は temperature 1.0、top_p 0.95 です。複雑なタスクやエージェント用途では reasoning_effort=high、日常用途では medium、高速チャットでは low を使用してください
  • 自前でのデプロイを行わない場合は、Mistral APIの mistral-large-4 を呼び出すか、公式のオープンソースプログラミングアシスタント「Mistral Vibe」と併用してください

リスク

  • ライセンスはMistral Ecosystem Open-Weight License(MITライセンスの改変版)であり、商用利用が可能ですが、モデル-as-a-service事業を運営する場合は別途商業ライセンス契約が必要です
  • 例示されているデプロイ環境には8カードのノードが必要であり、個人用デバイスでは実行できません
  • 性能評価は公式が引用したArtificial Analysis指数および公式ブログに基づいています
  • 本項目は未検証であり、実際の効果はモデルカードを参照してください

開く

Hugging Face Trending

最新の AI ニュースを見る