Tiêu đề gốc: Tree-Ising: Repairing Language Models with Bit-Level Ising Edits
Trước đây, công trình “lập trình trong không gian trọng số” của MIT đã cho phép các tác nhân mô hình lớn tiên tiến trực tiếp đọc trọng số mạng và viết ra các bản sửa chữa, khắc phục vòng lặp vô hạn trong suy luận của Qwen3.5-0.8B, sử dụng 158 vòng hội thoại và 8970 nghìn token. Tree-Ising biến đổi vấn đề này thành một bài toán tối ưu rời rạc thưa trên chính các trọng số BF16 của mô hình: sử dụng thống kê forward để xây dựng hàm mục tiêu, làm suy yếu các hướng “đi vòng” và tăng cường các hướng “đưa ra kết luận”, đồng thời duy trì đầu ra của lớp đó đối với các token bình thường; các chỉnh sửa được phép chỉ bao gồm lật dấu và dịch chuyển số mũ, hàm mục tiêu có thể được tách chính xác thành một bài toán QUBO (Ising) độc lập cho mỗi hàng đầu ra, được giải quyết trên GPU bằng phương pháp luyện kim giả (simulated annealing) hoặc phân nhánh giả (simulated bifurcation). Các tác giả tuyên bố rằng trên cùng hai lớp, MATH-500 đạt 54.6% (so với 51.7% khi chỉnh sửa bằng tác nhân), số lượng trọng số bị thay đổi ít hơn 13%–17%, số lượng bit bị lật ít hơn 2.2–2.3 lần, chỉ cần 4 yêu cầu forward, chi phí luyện kim giả khoảng 0.90 đô la; cùng công thức này giúp độ chính xác tham lam GSM8K của Qwen3.5-2B tăng từ 21.6% lên 69.4%.
Tại sao quan trọng Các phương pháp sửa chữa tương tự trước đây phụ thuộc vào tác nhân mô hình tiên tiến đọc trọng số và tiêu tốn lượng lớn token; ở đây chỉ cần vài lần thống kê forward, chi phí GPU chưa tới một đô la
Thích 75 · Số sao mã nguồn 0
Lý do
- Không huấn luyện, không gọi mô hình lớn, mô hình sau khi sửa chữa vẫn là một checkpoint Hugging Face thông thường, có thể tải trực tiếp bằng transformers hoặc vLLM
- Cấu hình đã cố định phiên bản mô hình, phiên bản dữ liệu và checksum, ba bộ thí nghiệm gồm 0.8B, 2B và sửa chữa lặp lại đều có thể tái tạo chỉ với một cú nhấp chuột
Cách sử dụng
- Mã nguồn: https://github.com/TheQuantumGOAT/Tree-Ising;pip install -e ".[reproduce]" -c requirements-reproduce.txt
- run_treeising --config configs/qwen35_0.8b.yaml --only models,data,splits,check_data để chuẩn bị dữ liệu, sau đó chạy practice_answers,statistics,layer_scan,treeising_sa để tạo ra mô hình đã được sửa chữa
Rủi ro
- Chỉ được kiểm chứng trên các mô hình nhỏ 0.8B và 2B, việc sửa chữa nhắm vào vòng lặp vô hạn trong suy luận toán học, khả năng mở rộng sang các mô hình lớn vẫn chưa rõ
- Việc tái tạo đầy đủ yêu cầu Linux và card đồ họa CUDA (các tác giả sử dụng A100 với 40 GB), lượng sinh ra lớn; phần minh họa tính toán lượng tử trong bài báo không có trong mã nguồn
- Mục này chưa được chạy thử
Mở · Mã nguồn · Trang bài báo