Aion 1.0 Instruct:微软 Windows 的端侧小模型

微软 Windows & Devices 应用科学组 11 月 18 日上传的指令模型,定位是 Windows 生态里的基础小模型,接替上一代系统小模型 Phi Silica。约 2.29B 参数(输入输出嵌入共享),28 层,其中 21 层是窗口 2048 的滑动窗口注意力、7 层是全注意力(GQA,24 个查询头、8 个 KV 头),上下文 32,768 token,词表 200,029,知识截止 2025 年 12 月。支持英、德、西、葡、意、法、中、日 8 种语言,主打文档理解、摘要、改写、问答和对话,带工具调用格式。官方说明:加上微软内容审核模型的进一步优化版将在 2027 年 1 月底前成为 Windows 系统小模型,这次先放未量化版本,量化版随后发布。MIT 许可。

原题:microsoft/Aion-1.0-Instruct-2.3B

微软 Windows & Devices 应用科学组 11 月 18 日上传的指令模型,定位是 Windows 生态里的基础小模型,接替上一代系统小模型 Phi Silica。约 2.29B 参数(输入输出嵌入共享),28 层,其中 21 层是窗口 2048 的滑动窗口注意力、7 层是全注意力(GQA,24 个查询头、8 个 KV 头),上下文 32,768 token,词表 200,029,知识截止 2025 年 12 月。支持英、德、西、葡、意、法、中、日 8 种语言,主打文档理解、摘要、改写、问答和对话,带工具调用格式。官方说明:加上微软内容审核模型的进一步优化版将在 2027 年 1 月底前成为 Windows 系统小模型,这次先放未量化版本,量化版随后发布。MIT 许可。

为什么重要 官方称加上内容审核模型的优化版将在明年一月底前成为 Windows 系统内置小模型,这是提前公开的预览

上升分 47 · 点赞 67 · 下载量 788

理由

  • 官方用 lm-evaluation-harness 自测:MMLU 55.15、MMLU-Pro 33.35、GPQA 28.18、GSM8K 74.91、MATH-500 48.00、IFEval 83.90、Multi-IF 64.70、IFBench 32.00;卡里没有和其他模型的对比
  • 训练数据在 Phi Silica 的数据上扩充:严格筛过的公开文档加上为数学、代码、常识推理新做的合成数据,多语种数据约占 6%
  • 定位是数据不出设备的本地处理:多页文档、长邮件串、技术规格可以整段放进 32K 上下文

用法

  • Transformers 5.x:AutoModelForCausalLM / AutoTokenizer 加载 microsoft/Aion-1.0-Instruct-2.3B,必须 trust_remote_code=True(自定义模型代码 modeling_aion_instruct.py),dtype="auto"、device_map="auto"
  • 对话用仓库自带 chat_template.jinja,每轮以 <|end|> 结束;可选模板变量 model_identity、knowledge_cutoff、current_date
  • 工具调用:apply_chat_template(..., tools=tools) 把工具描述注入系统提示,模型输出 <|tool_call|>{"name": ..., "arguments": {...}}<|/tool_call|>,工具结果以 <|tool_response|> 开头放回用户轮;示例代码在 GitHub microsoft/Aion-Instruct-Preview-Sample

风险

  • 目前只有 BF16 safetensors;卡里列了 ONNX、GGUF,但量化版还没上传
  • 官方明说它不擅长世界知识、复杂多步推理会出错,安全指标 XPIA、DIC、ECI 还要在后续版本改进,容易被对抗提示诱导;系统集成时会另配内容审核模型
  • 评测只有自家分数,没有同尺寸模型对比;多语种数据占比低,非英语输出质量可能不一。本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态