仓库不依赖 Flax、Equinox 或 PyTorch,参数就是普通字典,模型全部写在 deepseek_v3.py 里:MLA 每个词元只缓存一个小的潜在向量,DeepSeekMoE 是 1 个共享专家加 16 个路由专家,按专家偏置做负载均衡,另有多词元预测模块。作者用公有领域的侦探小说训练了一个 3620 万参数(每词元激活 1360 万)的模型,在 M5 MacBook Air 上跑了约 2.6 小时;关闭和开启负载均衡偏置时验证损失几乎相同,但专家负载明显更均匀,与论文的说法一致。
为什么重要 论文里的潜在注意力、混合专家、无辅助损失负载均衡和多词元预测各对应一个函数,从上读到下就能看懂 V3 的结构。
星数 102
理由
- 仓库 11 月 13 日创建,MIT 许可;读过 README,附逐段讲解的长文和可复现的数据哈希
- 作者明说这是架构演示,不是可用的语言模型,并列出没实现的部分(FP8 训练、DualPipe、YaRN 等)
用法
- 需要 Apple Silicon Mac、Python 3.12 和 uv:克隆后按 README 安装固定版本依赖,运行 prepare_data.py 准备数据、train.py 训练;没有 Mac 可按「Running on CPU」一节在 CPU 上跑
风险
- 发布的检查点是 Python pickle 文件,加载时可能执行代码,作者提醒只加载可信来源的文件
- 训练结果数字来自作者的一次运行