原题:RecursiveSI/flint
Recursive 的混合专家(MoE)语言模型,面向编码智能体:总参数 39.8B,每 token 激活约 2.5B(含输出头,40B-A2.5B 是取整叫法);49 层(2 层稠密 + 47 层 MoE,其中 35 层是 513 token 滑窗注意力、14 层全局注意力),每层 256 个路由专家选 6 个,外加 1 个常驻共享专家;上下文 262,144 token,自述知识截止 2026 年 6 月。从零经过预训练、中期训练、SFT 和强化学习,支持推理和多轮工具调用。本仓库是 BF16 检查点(约 80 GB)、聊天模板和 SGLang 部署包;NVIDIA 和 Apple 芯片的量化版另行准备。10 月 21 日建仓,前几期没有收录。
为什么重要 激活参数小、一张大显存卡就能起一份服务,适合想在自己机器上跑编码智能体的团队
上升分 84 · 点赞 1353 · 下载量 38357
理由
- 作者称 Terminal-Bench 2.1 得 54.9%、SWE-bench Pro v2 89.7%、SWE-bench Verified 74.2%(智能体项至少 5 次 pass@1 取平均,Terminal-Bench 用 Terminus 2、SWE-bench 用 mini-swe-agent);还写明 Flint 的 Terminal-Bench 分数把靠联网检索拿到的解法算作失败,别家自报分数未必这样处理。
- 部署写得能照做:Docker 构建 SGLang 镜像后单卡起一份副本(B300 或 H200),OpenAI 兼容接口直接带工具调用,附推理和工具调用两个示例客户端(含嵌套参数、并行调用)。
- Apache-2.0,权重许可和托管 API 条款分开;抱脸点赞 1353(只代表关注度)。
用法
- hf download RecursiveSI/flint --local-dir flint(约 80 GB;作者建议固定 revision 下载并用 hf cache verify 校验),cd flint && docker build -t flint-sglang sglang,再 docker run -d --name flint --gpus '"device=0"' --ipc=host -p 127.0.0.1:30000:30000 -v "$PWD:/model" -e MODEL=/model flint-sglang bash /model/sglang/serve_b300.sh(H200 换 serve_h200.sh);等 localhost:30000/health_generate 返回后,python3 sglang/example_client.py --base-url http://localhost:30000/v1 测推理和一次工具调用。
- 采样参数 temperature 1.0、top_p 0.95、top_k 20(请求不写时服务端自动套用);难题输出预算至少 32768 token(含推理)。多轮时用检查点自带的聊天模板,并把返回的 reasoning_content 留在对话历史里。
风险
- 显存要求硬:每个副本要一张 ≥141 GB 的卡(B300 / B200 / H200),80 GB 卡不支持;Transformers 建模代码还没给,目前只能走 SGLang;构建镜像要能访问 Docker Hub、PyPI、flashinfer.ai 和 GitHub。
- 成绩都是作者自评,各家评测设置不同;作者提醒长推理会增加延迟、可能在答完前耗尽输出预算,工具调用应用要自己做权限和执行边界。
- 量化版卡里只写“另行准备”,没有给链接。