Aion 1.0 Instruct:Microsoft Windows のデバイス内小規模モデル

Microsoft Windows & Devices アプリケーションサイエンスグループが 11 月 18 日に公開した指示追従モデルで、Windows エコシステムにおける基盤となる小規模モデルとして位置づけられ、前世代のシステム小規模モデル Phi Silica を置き換えます。パラメータ数は約 2.29B(入力・出力埋め込みを共有)、層数は 28 層で、そのうち 21 層はウィンドウサイズ 2048 のスライディングウィンドウアテンション、7 層はフルアテンション(GQA、クエリヘッド数 24、KV ヘッド数 8)です。コンテキスト長は 32,768 トークン、語彙サイズは 200,029、知識のカットオフ日は 2025 年 12 月です。英語、ドイツ語、スペイン語、ポルトガル語、イタリア語、フランス語、中国語、日本語の計 8 言語に対応し、ドキュメント理解、要約、書き換え、質問応答、対話を主な用途とし、ツール呼び出しフォーマットをサポートしています。公式の説明によると、Microsoft のコンテンツモデレーションモデルを組み込んださらに最適化されたバージョンが 2027 年 1 月末までに Windows システムの小規模モデルとして提供される予定で、今回はまず非量子化版が公開され、量子化版はその後リリースされます。ライセンスは MIT です。

原題:microsoft/Aion-1.0-Instruct-2.3B

Microsoft Windows & Devices アプリケーションサイエンスグループが 11 月 18 日に公開した指示追従モデルで、Windows エコシステムにおける基盤となる小規模モデルとして位置づけられ、前世代のシステム小規模モデル Phi Silica を置き換えます。パラメータ数は約 2.29B(入力・出力埋め込みを共有)、層数は 28 層で、そのうち 21 層はウィンドウサイズ 2048 のスライディングウィンドウアテンション、7 層はフルアテンション(GQA、クエリヘッド数 24、KV ヘッド数 8)です。コンテキスト長は 32,768 トークン、語彙サイズは 200,029、知識のカットオフ日は 2025 年 12 月です。英語、ドイツ語、スペイン語、ポルトガル語、イタリア語、フランス語、中国語、日本語の計 8 言語に対応し、ドキュメント理解、要約、書き換え、質問応答、対話を主な用途とし、ツール呼び出しフォーマットをサポートしています。公式の説明によると、Microsoft のコンテンツモデレーションモデルを組み込んださらに最適化されたバージョンが 2027 年 1 月末までに Windows システムの小規模モデルとして提供される予定で、今回はまず非量子化版が公開され、量子化版はその後リリースされます。ライセンスは MIT です。

なぜ重要か 公式によれば、コンテンツモデレーションモデルを組み込んだ最適化版が来年1月末までに Windows システムの組み込み小規模モデルとなる予定であり、これは先行して公開されたプレビューです

上昇スコア 47 · いいね数 67 · ダウンロード数 788

理由

  • 公式は lm-evaluation-harness を用いた自社評価で、MMLU 55.15、MMLU-Pro 33.35、GPQA 28.18、GSM8K 74.91、MATH-500 48.00、IFEval 83.90、Multi-IF 64.70、IFBench 32.00 のスコアを報告しています。カード内には他のモデルとの比較はありません
  • 学習データは Phi Silica のデータを拡張したもので、厳密に選別された公開ドキュメントに加え、数学、コード、常識推論向けに新たに作成された合成データが含まれ、多言語データが約 6% を占めます
  • デバイス外へデータを出さないローカル処理を目的としており、複数ページのドキュメントや長いメールスレッド、技術仕様書をまとめて 32K のコンテキストに収めることができます

使い方

  • Transformers 5.x:AutoModelForCausalLM / AutoTokenizer を使用して microsoft/Aion-1.0-Instruct-2.3B を読み込みます。カスタムモデルコード modeling_aion_instruct.py のため、trust_remote_code=True が必須です。dtype="auto"、device_map="auto" を指定します
  • 対話にはリポジトリ同梱の chat_template.jinja を使用し、各ターンは <|end|> で終了します。テンプレート変数として model_identity、knowledge_cutoff、current_date をオプションで設定できます
  • ツール呼び出し:apply_chat_template(..., tools=tools) を使ってツール記述をシステムプロンプトに注入すると、モデルは <|tool_call|>{"name": ..., "arguments": {...}}<|/tool_call|> の形式で出力します。ツールの実行結果は <|tool_response|> で始まり、ユーザーターンとして返却されます。サンプルコードは GitHub の microsoft/Aion-Instruct-Preview-Sample にあります

リスク

  • 現時点では BF16 safetensors のみが提供されています。カードには ONNX や GGUF が記載されていますが、量子化版はまだアップロードされていません
  • 公式は、世界知識や複雑な多段階推論に弱くエラーが生じやすいこと、セキュリティ指標である XPIA、DIC、ECI は今後のバージョンで改善が必要であること、敵対的プロンプトの影響を受けやすいことを明記しています。システム統合時には別途コンテンツモデレーションモデルが組み合わされます
  • 評価は自社スコアのみであり、同規模のモデルとの比較はありません。多言語データの割合が低いため、英語以外の出力品質は一定しない可能性があります。本項目は実行されていません

開く

Hugging Face Trending

最新の AI ニュースを見る