一位研究者从数据管线到训练内核从头做出的两个语言模型：Praxis（总参数 2.94B，每遍激活 0.46B）和 Logos（总参数 10.23B，每遍激活 1.18B）。两者都是 Mamba-2 与注意力混合的 MoE 结构，每个 token 用同一套权重把整套网络跑两遍（“再看一眼”）。各训练了 1.02T token，上下文 131,072。报告后半部分专门写哪里出了错：配置的优化器其实没生效、一个 n-gram 记忆模块学会了把自己关掉、五个微调选择损失了能力，以及组内均值归一化下长度奖励会惩罚“写得长的正确答案”，作者给出证明和一行截断修复。
点赞 4 · 代码星数 0
理由
- 效率取向明确：作者称训练数据约为同类公开模型中位数的十二分之一、每 token 激活参数更少，处在数据量和算力两条帕累托前沿上；数学排名 30 个模型中第二（AIME 2025 67.50%）。
- 能直接用：Apache-2.0 权重在抱脸，另有 FP8、NVFP4、GGUF、MLX 4/8bit 版本；作者自写的推理引擎 Dromos（Apache-2.0）支持 NVIDIA、Apple 芯片和 CPU，提供 OpenAI 兼容接口。
- 失败记录有参考价值：长度奖励在组内通过率高于 2/3 时符号反转的问题，对做强化学习推理训练的人是可直接检查的坑。
用法
- 最快：curl -fsSL https://github.com/lernex/dromos/releases/latest/download/install.sh | sh，然后 dromos run logos:fp8 在终端对话，或 dromos serve logos:fp8 开 OpenAI 兼容接口（端口 8080）；dromos doctor 可看本机能跑哪种格式。
- 按显卡选格式（模型卡）：32 GB 以上用 BF16，16/24 GB 用 FP8，8/12 GB 用 NVFP4（仅 Dromos 能读），Mac 用 MLX，CPU / 笔记本用 GGUF Q4_K_M（llama.cpp）。
- Transformers：AutoModelForCausalLM.from_pretrained("Lernex/Metis-1.6-Logos", trust_remote_code=True)，需 transformers 4.57 以上；思考模式建议 temperature 0.8、repetition_penalty 1.05，不要低于 0.6。
风险
- 作者自己写明代码、指令遵循和长上下文偏弱；40 项基准平均分在其对比组 17 个模型里排第七，与 Qwen3-4B 相差一分以内。
- Dromos 对 vLLM 的解码提速数字来自作者在单张 RTX 5070 Ti 上的测试；需要 trust_remote_code，llama.cpp / Ollama 下要按模型卡改重复惩罚窗口，否则思考模式容易打转。
- 个人项目，基准由作者在同一评测框架下自测，没有第三方复现。