原题:thinkingmachines/Inkling-2-Small
Thinking Machines 发布的通用多模态模型,输入文字和图片、输出文字,面向智能体与工具调用、编程助手、对话和检索增强等应用。结构是 48 层解码器、稀疏专家前馈层,每个 token 从 384 个专家里选 8 个,局部与全局注意力混合;总参数 594B、激活 17B,上下文最长 1M token。官方称预训练、中训练和后训练都在 NVFP4 精度下完成,所以主推 NVFP4 检查点,另有 MXFP8 版(官方称评测只高 1–2 个百分点)。
为什么重要 原生用低精度格式训练、权重 Apache 许可,主流推理和后训练框架首发即支持,可本地部署也可自己微调
上升分 95 · 点赞 95 · 下载量 12
理由
- 官方评测表里,BrowseComp(带上下文压缩)90.2%、DeepSWE 72.1%、ARC-AGI-2 81.7%、OmniDocBench 94.6%;同表 DeepSeek-V4.1-Flash-1017 的 AA Index 32.6、高于它的 30.6,各项互有高低
- 部署和训练生态现成:SGLang、vLLM、TokenSpeed、Unsloth 有本地推理配方,Miles、SkyRL 等可做后训练,Together、Baseten、Cloudflare 等第三方提供 API
- 官方另列了安全评测(FORTRESS、StrongREJECT 等)和使用政策链接
用法
- 先在 Tinker Playground 在线试用,或按 Tinker Cookbook 调 API;用 Tinker 微调还要装 tml-renderers
- 本地:按模型卡给出的 SGLang / vLLM 配方加载 thinkingmachines/Inkling-2-Small(NVFP4);需要 FP8 时用 Inkling-2-Small-MXFP8
风险
- 硬件门槛高:NVFP4 版需要合计约 500GB 显存(如 2 张 B300 或 4 张 H200),MXFP8 版约 800GB
- 成绩表为官方给出,部分对比模型分数来自第三方榜单或公开切分,评测设置各不相同
- 本条未运行,效果以模型卡为准