Thinking Machines 开源本地模型 Inkling 2 Mini

Thinking Machines Lab 11 月 20 日开源 Inkling 2 Mini:混合专家架构,总参数 264 亿、激活 34 亿,模型的中间层对每个 token 循环运行三遍,用更少的 token 做更多推理。官方称它在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)等评测上领先所有总参数不到 1000 亿的开源模型;权重大部分是 NVFP4、最后四层是 MXFP8,总内存占用约 20GB,能在消费级笔记本上运行。Hugging Face 博客介绍,模型支持 100 万 token 上下文和图文输入,首日支持 transformers、llama.cpp、MLX 和 SGLang;同时发布了一个可调循环次数的研究版本。

原题:Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

Thinking Machines Lab 11 月 20 日开源 Inkling 2 Mini:混合专家架构,总参数 264 亿、激活 34 亿,模型的中间层对每个 token 循环运行三遍,用更少的 token 做更多推理。官方称它在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)等评测上领先所有总参数不到 1000 亿的开源模型;权重大部分是 NVFP4、最后四层是 MXFP8,总内存占用约 20GB,能在消费级笔记本上运行。Hugging Face 博客介绍,模型支持 100 万 token 上下文和图文输入,首日支持 transformers、llama.cpp、MLX 和 SGLang;同时发布了一个可调循环次数的研究版本。

为什么重要 用循环层而不是堆参数来提升推理,开源权重小到能放进笔记本,本地编程智能体多了一个选择。

可信度:高可信 · 来源 Thinking Machines Lab 等 2 家(含官方) · 事件时间 11-20 08:00(北京时间)

理由

  • Thinking Machines 官方发布页和 Hugging Face 官方博客同日发布,附架构细节和评测表
  • 开源权重,常用本地推理框架首日支持

用法

  • 在 Hugging Face 下载权重,用 transformers、llama.cpp 或 MLX 本地运行;也可以在 Thinking Machines 的 Tinker 平台上推理和微调

风险

  • 评测分数是 Thinking Machines 自己报告的,各模型的评测设置不同
  • 官方说明循环不会增加模型能记住的知识,知识类评测和同尺寸模型持平

打开 · Thinking Machines Lab

Hugging Face

浏览最新 AI 动态