MIT CSAIL の Rikiya Takehi 氏らは、11 月 2 日にブログ『Sparks of Weight-Space Programming』で実施した実験 8 の成果物として、最先端の大規模モデル（文中では Astra と呼ばれる）が Python 環境内で Qwen3.5-0.8B の重みを直接読み書きできるようにした。勾配降下法を実行せず、学習も行わず、わずか 50 回の前向き推論で GSM8K / MATH の練習問題を参照するだけで、モデルが思考する際に繰り返しループに陥る方向性を特定し、第 15 層および第 19 層の MLP の down_proj の各 64 列からそれを減算した。合計 131,072 個の重みを変更した（全体の 0.016% に相当）。このリポジトリは修正後のモデルであり、11 月 2 日に作成され、直近 7 期間中は収録されていない。
上昇スコア 64 · いいね 64 · ダウンロード数 310
理由
- 著者によると、原版ではほぼすべての数学問題でトークン上限（93.0%）に達するまで思考が続き、修正後は 33.1% に低下した。同じサンプリング設定で、MATH-500 は 7.9% から 48.1% に、GSM8K は 13.8% から 67.1% に上昇し、特に最適化していない IFEval も 21.0% から 62.3% に上昇した。
- 検証可能：変更点は GitHub（RikiyaT/lm_understand-logs の exp8_math）でビット単位で一致する diff として公開されており、原版と比較して異なるのは 2 つのテンソルのみで、モデルカードには両者の sha256 が記載されている。akhaliq は ML Intern を使用し、H200 上で元のプロトコルに従って完全な MATH-500（500 問 × 4 回のサンプリング）を再実行し、51.0%、31.6% が上限に達した結果を得た。問題ごとの結果はリポジトリの eval/ ディレクトリに置かれている。
- 意義は手法にある：同じブログ記事では、大規模モデルが重みのみを見てネットワークがどのゲームをプレイするように訓練されたかを判断したり、小さなゲームをプレイできるネットワークを一から書き出したりする実験も紹介されている。このリポジトリは、文中の実際の言語モデル実験の公開チェックポイントであり、直接ダウンロードして比較できる。
使い方
- vLLM：LLM(model="RikiyaT/Qwen3.5-0.8B-weight-space-programming", dtype="bfloat16", max_model_len=34816) を使用し、apply_chat_template 時に enable_thinking=True を設定する。サンプリングはモデルカードの記載に従う：temperature 0.6、top_p 0.95、top_k 20、presence_penalty 1.5、max_tokens 32768。
- 数学問題では、問題文の後に「Please reason step by step, and put your final answer within \boxed{}」という一文を追加し、最後の \boxed{} 内の内容を答えとして採用する。
- デプロイしたくない場合は、Space の ML-Intern-lab/weight-space-programming-demo で、原版と修正版を同じ問題で比較できる（モデルカードに記載されている akhaliq/weight-space-programming-demo は現在こちらにリダイレクトされている）。
リスク
- 0.8B の小規模モデルであり、修正後も MATH-500 の精度は 5 割程度にとどまり、回答の約 3 分の 1 は依然として思考が上限に達するため、実用的な数学アシスタントとしては不適切である。主に研究デモとしての位置づけである。
- 成績は著者と akhaliq が独自に実行したもので、長い思考（最大 32,768 トークン）と特定のサンプリングパラメータを使用している。原版の低スコアは主に無限ループにより答えを出力できないことが原因であり、上限を短くしたり他のサンプリングパラメータを使用したりすると結果は変化する。再実行時、原版は 25 問のみのスモークテストしか実施していない。
- 修正を行った最先端モデルは非公開であり、他者が再現できるのはこの修正済みチェックポイントと評価結果であって、「大規模モデルに重みを修正させる」というプロセスそのものではない。リポジトリは完全なマルチモーダル版であり、原文の評価で使用されたのはテキストのみのエクスポート版である（言語部分のテンソルハッシュは一致している）。