MIT CSAIL 的 Rikiya Takehi 等人 11 月 2 日在博客《Sparks of Weight-Space Programming》里做的实验 8 的成品：让一个前沿大模型（文中叫 Astra）在 Python 环境里直接读写 Qwen3.5-0.8B 的权重，不跑梯度下降、不训练，只用 50 次前向推理看 GSM8K / MATH 练习题，就找出让模型思考时反复兜圈子的一个方向，从第 15、19 层 MLP 的 down_proj 各 64 列里减掉它，一共改了 131,072 个权重（占 0.016%）。这个仓库就是改完的模型，11 月 2 日建仓，近 7 期没有收录。
上升分 64 · 点赞 64 · 下载量 310
理由
- 作者称原版几乎每道数学题都会一直想到 token 上限（93.0% 触顶），改完降到 33.1%；同样采样设置下 MATH-500 从 7.9% 升到 48.1%、GSM8K 从 13.8% 升到 67.1%，没专门针对的 IFEval 也从 21.0% 升到 62.3%。
- 可以核对：改动以逐位一致的 diff 公开在 GitHub（RikiyaT/lm_understand-logs 的 exp8_math），和原版相比只有两个张量不同，卡里列了两者的 sha256；akhaliq 用 ML Intern 在 H200 上按原协议重跑完整 MATH-500（500 题 × 4 次采样），得到 51.0%、31.6% 触顶，逐题结果放在仓库 eval/ 目录。
- 意义在方法：同一篇博客还让大模型只看权重判断网络是被训练来玩哪个游戏的、从零写出能玩小游戏的网络；这个仓库是文中真实语言模型实验的公开检查点，能直接下载对比。
用法
- vLLM：LLM(model="RikiyaT/Qwen3.5-0.8B-weight-space-programming", dtype="bfloat16", max_model_len=34816)，apply_chat_template 时设 enable_thinking=True；采样照卡里：temperature 0.6、top_p 0.95、top_k 20、presence_penalty 1.5、max_tokens 32768。
- 数学题在题目后加一句 Please reason step by step, and put your final answer within \boxed{}，取最后一个 \boxed{} 作答案。
- 不想部署可以先在 Space ML-Intern-lab/weight-space-programming-demo 里同题对比原版和改后版（卡里写的 akhaliq/weight-space-programming-demo 已跳转到这里）。
风险
- 0.8B 小模型，修完 MATH-500 也只有五成左右，仍有约三分之一的回答想到上限，不适合当实用数学助手；它主要是研究演示。
- 成绩是作者和 akhaliq 自己跑的，用长思考（最长 32,768 token）加特定采样；原版低分主要是死循环给不出答案，换短上限或别的采样参数结果会变。重跑时原版只做了 25 题的冒烟测试。
- 做修改的前沿模型不公开，别人能复现的是这份改好的检查点和评测，不是“让大模型改权重”这个过程本身；仓库是完整多模态版，原文评测用的是纯文本导出版（语言部分张量哈希一致）。