Axion 1.0-35B:科研推理智能体模型的社区复现版

Axion 1.0 是杜克大学、字节跳动等团队提出的开源智能体基础模型配方:先在难的科学题上做 SFT(学推理),再在需要查资料、用工具的可验证任务上做 SFT(学调查),最后在智能体轨迹上做强化学习,SFT 数据约 1.8 万条。本仓库是按这套配方训练的 35B 复现检查点(总参数约 350 亿、激活约 30 亿,基座为 Qwen3.6-35B-A3B),作者称在 HLE 上 52.8、SEAL-0 上 60.4、FrontierScience 奥赛题 85.0,与论文报告的 52.2、62.2、86.0 接近。

原题:Axion1-0/Axion-1.0-35B

Axion 1.0 是杜克大学、字节跳动等团队提出的开源智能体基础模型配方:先在难的科学题上做 SFT(学推理),再在需要查资料、用工具的可验证任务上做 SFT(学调查),最后在智能体轨迹上做强化学习,SFT 数据约 1.8 万条。本仓库是按这套配方训练的 35B 复现检查点(总参数约 350 亿、激活约 30 亿,基座为 Qwen3.6-35B-A3B),作者称在 HLE 上 52.8、SEAL-0 上 60.4、FrontierScience 奥赛题 85.0,与论文报告的 52.2、62.2、86.0 接近。

为什么重要 训练只用两段 SFT 加强化学习,数据、代码和复现权重全公开,适合研究智能体训练配方的人对照

上升分 72 · 点赞 73 · 下载量 1315

理由

  • 面向科研场景:科学推理、信息检索和带工具解题,模型卡把论文版和复现版成绩并列
  • 训练数据集和完整训练代码(数据生成与过滤、两阶段 SFT、异步强化学习、评测)都在 GitHub bytedance/axion1_0 公开,Apache-2.0

用法

  • vllm serve Axion1-0/Axion-1.0-35B,示例用 8 卡张量并行、131072 上下文,开 --reasoning-parser qwen3 和 --tool-call-parser qwen3_coder
  • 跑带工具的智能体任务需要另配执行工具调用的框架,见 GitHub 仓库的推理指南

风险

  • GitHub 说明这是社区复现版,不是 Axion 官方检查点
  • 对比表里其他模型的分数多取自各自的官方报告,评测设置不完全一致
  • 本条未运行,效果以模型卡为准

打开

Hugging Face Trending

浏览最新 AI 动态