jingyaogong/minimind

MiniMind 开源了一个约 64M 参数超小语言模型的完整训练链路:数据清洗、预训练、监督微调、LoRA、DPO、PPO / GRPO / CISPO、工具调用、多轮智能体强化学习和蒸馏,另有 MoE 版本和视觉、多模态等扩展。作者称 SFT 阶段在单张 3090 上跑一轮约 2 小时;权重放在 Hugging Face 和魔搭,可在线体验。

MiniMind 开源了一个约 64M 参数超小语言模型的完整训练链路:数据清洗、预训练、监督微调、LoRA、DPO、PPO / GRPO / CISPO、工具调用、多轮智能体强化学习和蒸馏,另有 MoE 版本和视觉、多模态等扩展。作者称 SFT 阶段在单张 3090 上跑一轮约 2 小时;权重放在 Hugging Face 和魔搭,可在线体验。

为什么重要 核心算法用原生 PyTorch 从零写成,不依赖 transformers、trl、peft 的高层接口,适合拆开看懂大模型训练每一步。

星数 65991(+192 / 24h)

理由

  • 24 小时新增 192 星,总星 65991,Trendshift 和 GitHub Trending 当日均为第 14(只代表关注度);Apache-2.0 许可
  • README 更新日志显示 4 月发布 minimind-3 系列,3 月新增多轮 Tool-Use 强化学习脚本

用法

  • 按 README 准备数据集,依次运行预训练、SFT 等训练脚本;只想体验可直接用魔搭在线 Demo

风险

  • 这是教学级小模型,能力远不及通用大模型;仓库创建于 2024 年,近几个月没有新的主版本
  • README 注明并非每个实验分支的权重都会持续维护

打开

Trendshift(GitHub Trending 快照)

浏览最新 AI 动态