Tree-Ising:翻转少量比特修复模型的推理死循环

此前 MIT 的“权重空间编程”工作让前沿大模型智能体直接读网络权重并写出修复,纠正 Qwen3.5-0.8B 的推理死循环,用了 158 轮对话和 8970 万 token。Tree-Ising 把这件事改写成在模型自身 BF16 权重上的稀疏离散优化:用前向统计构造目标,削弱“绕圈”方向、加强“下结论”方向,同时保持该层对正常 token 的输出;允许的编辑只有符号翻转和指数移位,目标可精确拆成每个输出行一个独立的 QUBO(Ising)问题,在 GPU 上用模拟退火或模拟分岔求解。作者称在同两层上 MATH-500 达 54.6%(智能体编辑为 51.7%),改动的权重少 13%–17%,比特翻转少 2.2–2.3 倍,只需 4 次前向请求,退火成本约 0.90 美元;同一配方让 Qwen3.5-2B 的 GSM8K 贪心准确率从 21.6% 升到 69.4%。

原题:Tree-Ising: Repairing Language Models with Bit-Level Ising Edits

此前 MIT 的“权重空间编程”工作让前沿大模型智能体直接读网络权重并写出修复,纠正 Qwen3.5-0.8B 的推理死循环,用了 158 轮对话和 8970 万 token。Tree-Ising 把这件事改写成在模型自身 BF16 权重上的稀疏离散优化:用前向统计构造目标,削弱“绕圈”方向、加强“下结论”方向,同时保持该层对正常 token 的输出;允许的编辑只有符号翻转和指数移位,目标可精确拆成每个输出行一个独立的 QUBO(Ising)问题,在 GPU 上用模拟退火或模拟分岔求解。作者称在同两层上 MATH-500 达 54.6%(智能体编辑为 51.7%),改动的权重少 13%–17%,比特翻转少 2.2–2.3 倍,只需 4 次前向请求,退火成本约 0.90 美元;同一配方让 Qwen3.5-2B 的 GSM8K 贪心准确率从 21.6% 升到 69.4%。

为什么重要 此前同类修复要靠前沿模型智能体读权重、花大量 token;这里只需几次前向统计,GPU 成本不到一美元

点赞 75 · 代码星数 0

理由

  • 不训练、不调用大模型,修复后的模型仍是普通的 Hugging Face 检查点,可直接用 transformers 或 vLLM 加载
  • 配置固定了模型版本、数据版本和校验和,0.8B、2B 和迭代修复三套实验都能一键复现

用法

  • 代码:https://github.com/TheQuantumGOAT/Tree-Ising;pip install -e ".[reproduce]" -c requirements-reproduce.txt
  • run_treeising --config configs/qwen35_0.8b.yaml --only models,data,splits,check_data 准备数据,再跑 practice_answers,statistics,layer_scan,treeising_sa 生成修复后的模型

风险

  • 只在 0.8B 和 2B 的小模型上验证,修复针对的是数学推理里的死循环,能否推广到大模型未知
  • 完整复现需要 Linux 和 CUDA 显卡(作者用 40 GB 的 A100),生成量大;论文里的量子计算演示不在代码里
  • 本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态