원제: Tree-Ising: Repairing Language Models with Bit-Level Ising Edits
이전에 MIT의 '가중치 공간 프로그래밍(weight-space programming)' 연구는 최전선 대형 언어 모델 에이전트가 네트워크 가중치를 직접 읽고 복구를 작성하여 Qwen3.5-0.8B의 추론 무한 루프를 교정했으며, 158 라운드 대화와 8970만 토큰을 사용했습니다. Tree-Ising은 이를 모델 자체의 BF16 가중치에 대한 희소 이산 최적화 문제로 재구성했습니다. 순방향 통계를 사용하여 목적 함수를 구성하고, '맴돌이' 방향을 약화시키며 '결론 도출' 방향을 강화하되, 해당 층이 정상 토큰에 대해 출력하는 값은 유지합니다. 허용되는 편집은 부호 플립과 지수 이동뿐이며, 목적 함수는 각 출력 행에 대해 독립적인 QUBO(Ising) 문제로 정확히 분해될 수 있고, GPU에서 시뮬레이티드 어닐링(simulated annealing) 또는 시뮬레이티드 버퍼링(simulated bifurcation)을 사용하여 해결합니다. 저자들은 동일한 두 층에서 MATH-500 점수가 54.6%에 도달했다고 주장합니다(에이전트 편집은 51.7%). 변경된 가중치 수는 13%–17%만큼 적고, 비트 플립 수는 2.2–2.3배 적으며, 순방향 요청은 4회만 필요하고, 어닐링 비용은 약 0.90달러입니다. 동일한 방식으로 Qwen3.5-2B의 GSM8K 탐욕적(greedy) 정확도가 21.6%에서 69.4%으로 상승했습니다.
왜 중요한가 이전의 유사한 복구는 최전선 모델 에이전트가 가중치를 읽고 대량의 토큰을 소비해야 했지만, 이 방법은 몇 번의 순방향 통계만 필요하며 GPU 비용은 1달러 미만입니다
좋아요 75 · 코드 스타 수 0
이유
- 학습이나 대형 모델 호출이 필요 없으며, 복구된 모델은 여전히 일반 Hugging Face 체크포인트이므로 transformers 또는 vLLM으로 직접 로드할 수 있습니다
- 구성 파일에 모델 버전, 데이터 버전 및 체크섬이 고정되어 있어 0.8B, 2B 및 반복 복구 세 가지 실험 모두 원클릭으로 재현할 수 있습니다
사용법
- 코드: https://github.com/TheQuantumGOAT/Tree-Ising;pip install -e ".[reproduce]" -c requirements-reproduce.txt
- run_treeising --config configs/qwen35_0.8b.yaml --only models,data,splits,check_data로 데이터를 준비한 후, practice_answers,statistics,layer_scan,treeising_sa를 실행하여 복구된 모델을 생성합니다
리스크
- 0.8B 및 2B의 소형 모델에서만 검증되었으며, 복구는 수학 추론에서의 무한 루프를 대상으로 하므로 대형 모델로 확장 가능한지는 불분명합니다
- 완전한 재현에는 Linux와 CUDA GPU(저자는 40GB의 A100 사용)가 필요하며 생성량이 많습니다. 논문 내의 양자 컴퓨팅 데모는 코드에 포함되어 있지 않습니다
- 이 항목은 실행되지 않았습니다