MiniMind 开源了一个约 64M 参数超小语言模型的完整训练链路:数据清洗、预训练、监督微调、LoRA、DPO、PPO / GRPO / CISPO、工具调用、多轮智能体强化学习和蒸馏,另有 MoE 版本和视觉、多模态等扩展。作者称 SFT 阶段在单张 3090 上跑一轮约 2 小时;权重放在 Hugging Face 和魔搭,可在线体验。
为什么重要 核心算法用原生 PyTorch 从零写成,不依赖 transformers、trl、peft 的高层接口,适合拆开看懂大模型训练每一步。
星数 65991(+192 / 24h)
理由
- 24 小时新增 192 星,总星 65991,Trendshift 和 GitHub Trending 当日均为第 14(只代表关注度);Apache-2.0 许可
- README 更新日志显示 4 月发布 minimind-3 系列,3 月新增多轮 Tool-Use 强化学习脚本
用法
- 按 README 准备数据集,依次运行预训练、SFT 等训练脚本;只想体验可直接用魔搭在线 Demo
风险
- 这是教学级小模型,能力远不及通用大模型;仓库创建于 2024 年,近几个月没有新的主版本
- README 注明并非每个实验分支的权重都会持续维护