原題:Tree-Ising: Repairing Language Models with Bit-Level Ising Edits
以前、MITの「重み空間プログラミング」に関する研究では、最先端の大規模モデルエージェントがネットワークの重みを直接読み取り、修復コードを生成することで、Qwen3.5-0.8Bの推論無限ループを修正しました。このプロセスには158回の対話と8970万トークンが必要でした。Tree-Isingは、この問題をモデル自身のBF16重みに対する疎な離散最適化問題として再定式化します。前方統計を用いて目的関数を構築し、「ループ」方向を弱め、「結論」方向を強化しつつ、当該層が通常のトークンに対して出力する挙動を維持します。許可される編集は符号反転と指数シフトのみであり、目的関数は各出力行ごとに独立したQUBO(Ising)問題として正確に分解でき、GPU上でシミュレーテッド・アニーリングまたはシミュレーテッド・バーフィケーションを用いて解きます。著者によると、同じ2つの層においてMATH-500のスコアは54.6%に達し(エージェントによる編集では51.7%)、変更された重みの数は13%~17%、ビット反転の数は2.2~2.3分の1に減少し、前方リクエストはわずか4回で済みます。アニーリングのコストは約0.90ドルです。同じ手法により、Qwen3.5-2BのGSM8Kにおける貪欲法(Greedy)の精度は21.6%から69.4%へ向上しました。
なぜ重要か 従来の同種の修復は、最先端モデルのエージェントが重みを読み取り、大量のトークンを消費する必要がありましたが、ここでは数回の前方統計のみで済み、GPUコストは1ドル未満です
いいね 75 · コードのスター数 0
理由
- 学習も大規模モデルの呼び出しも不要で、修復後のモデルは通常のHugging Faceチェックポイントとして扱えるため、transformersやvLLMで直接読み込めます
- 設定ファイルにはモデルバージョン、データバージョン、チェックサムが固定されており、0.8B、2B、および反復修復の3つの実験セットすべてをワンクリックで再現できます
使い方
- コード:https://github.com/TheQuantumGOAT/Tree-Ising;pip install -e ".[reproduce]" -c requirements-reproduce.txt
- run_treeising --config configs/qwen35_0.8b.yaml --only models,data,splits,check_data でデータを準備し、その後 practice_answers,statistics,layer_scan,treeising_sa を実行して修復後のモデルを生成します
リスク
- 0.8Bおよび2Bの小規模モデルでのみ検証されており、修復対象は数学的推論における無限ループであるため、大規模モデルへの汎用性は不明です
- 完全な再現にはLinuxとCUDA対応GPU(著者は40 GBのA100を使用)が必要であり、生成量が大きいです。論文内の量子計算デモはコードに含まれていません
- 本項目は実行されていません