原题:thinkingmachines/Inkling-2-Mini
Thinking Machines Lab 11 月 20 日发布,Inkling 2 Small 之后的小号版本,接收文字和图片、输出文字,面向智能体与工具调用、编程助手、对话和 RAG。24 层解码器,中间 12 层共享权重循环跑三遍(每个 token 共 48 次层计算),每层 128 个专家选 8 个,局部与全局注意力混合;总参 26.4B、激活 3.4B,算上循环约合 5.4B 有效激活参数,上下文最长 1M token。权重是一个约 20GB 的 NVFP4 / MXFP8 混合精度检查点,官方称一台 DGX Spark、32GB 以上内存的 Apple 芯片设备或 32GB 显存的显卡即可本地推理。
为什么重要 官方对比表里编程和智能体成绩与同尺寸模型持平或更高;单个检查点约二十 GB,Mac 和单卡都能跑,Apache 许可
上升分 221.5 · 点赞 636 · 下载量 136
理由
- 官方对比 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VL:SWE-bench Verified 79.2%、SWE-bench Pro v2(Hard)77.9%、BrowseComp 79.0%、MCP Atlas 82.7%、OmniDocBench 92.8%,AA Index 20.1 与 Qwen3.8-27B 并列
- 内部安全测试里误操作、隐蔽违规和破坏性操作比例在五个模型里最低;官方称这是他们第一个循环模型,并研究了循环对读思维链监督的影响
- Hugging Face、SGLang、vLLM、llama.cpp、Ollama 等首发支持,Unsloth 已出 GGUF 量化版;也可通过 Tinker 平台 API 调用和微调
用法
- 权重:https://huggingface.co/thinkingmachines/Inkling-2-Mini;在线试用:https://tinker.thinkingmachines.ai/playground
- 本地推理按卡里链接的 SGLang / vLLM / TokenSpeed 配方部署;GGUF 版见 unsloth/Inkling-2-Mini-GGUF,用 llama.cpp 或 Ollama(Apple 芯片)运行
- 后训练可用 Miles、SkyRL;Tinker 用户装 tml-renderers 包,参考 tinker-cookbook
风险
- 官方写明:知识类问答弱于 Inkling 2 Small、更容易自信地答错;调代码时可能陷入反复自查的长推理,建议限制输出 token 和代理轮数
- 用工具时可能不经确认删除或覆盖文件,官方建议在沙箱里跑并对破坏性操作加确认;中文测试中出现过语句被截断、中英混杂
- 最低推理档也不能完全关掉思考;循环层让每 token 计算量高于激活参数看上去的水平,本地运行时对循环模型的支持还新,速度因框架而异。评测为官方自测,本条未运行