Các thí nghiệm do Rikiya Takehi và cộng sự tại MIT CSAIL thực hiện vào ngày 2 tháng 11 trong bài blog "Sparks of Weight-Space Programming" 8 đã tạo ra sản phẩm này: cho phép một mô hình lớn tiên tiến (được gọi là Astra trong bài viết) trực tiếp đọc và ghi trọng số của Qwen3.5-0.8B trong môi trường Python, không chạy gradient descent, không huấn luyện, chỉ sử dụng 50 lần suy luận tiến (forward inference) để xem các bài tập GSM8K / MATH, từ đó tìm ra một hướng khiến mô hình bị lặp vòng vô hạn khi suy nghĩ, và trừ hướng này khỏi 64 cột trong down_proj của các lớp MLP thứ 15 và 19, tổng cộng đã thay đổi 131,072 trọng số (chiếm 0.016%). Kho lưu trữ này chính là mô hình sau khi chỉnh sửa, được tạo vào ngày 2 tháng 11, và không có bản ghi nào trong 7 kỳ gần đây.
Tăng điểm 64 · Lượt thích 64 · Lượt tải 310
Lý do
- Tác giả cho biết phiên bản gốc hầu như luôn suy nghĩ đến giới hạn token (chạm ngưỡng 93.0%) cho mọi bài toán, sau khi chỉnh sửa giảm xuống còn 33.1%; với cùng thiết lập lấy mẫu, điểm MATH-500 tăng từ 7.9% lên 48.1%, GSM8K tăng từ 13.8% lên 67.1%, và IFEval (không được tối ưu riêng) cũng tăng từ 21.0% lên 62.3%.
- Có thể kiểm chứng: các thay đổi được công khai dưới dạng diff nhất quán từng bit trên GitHub (exp8_math trong RikiyaT/lm_understand-logs), so với phiên bản gốc chỉ có hai tensor khác biệt, và thẻ mô hình liệt kê sha256 của cả hai; akhaliq đã sử dụng ML Intern trên H200 để chạy lại toàn bộ MATH-500 (500 câu hỏi × 4 lần lấy mẫu) theo giao thức gốc, thu được kết quả 51.0% và chạm ngưỡng 31.6%, kết quả từng câu hỏi được đặt trong thư mục eval/ của kho lưu trữ.
- Ý nghĩa nằm ở phương pháp: cùng bài blog đó còn cho phép mô hình lớn chỉ dựa vào trọng số để xác định mạng nơ-ron được huấn luyện để chơi trò chơi nào, và viết từ đầu một mạng có thể chơi các trò chơi nhỏ; kho lưu trữ này là điểm kiểm tra công khai của thí nghiệm mô hình ngôn ngữ thực tế trong bài viết, có thể tải xuống trực tiếp để so sánh.
Cách sử dụng
- vLLM: LLM(model="RikiyaT/Qwen3.5-0.8B-weight-space-programming", dtype="bfloat16", max_model_len=34816), khi áp dụng apply_chat_template hãy đặt enable_thinking=True; tham số lấy mẫu theo thẻ mô hình: temperature 0.6, top_p 0.95, top_k 20, presence_penalty 1.5, max_tokens 32768.
- Đối với bài toán, thêm câu "Please reason step by step, and put your final answer within \boxed{}" vào sau đề bài, và lấy \boxed{} cuối cùng làm đáp án.
- Nếu không muốn triển khai, bạn có thể so sánh trực tiếp phiên bản gốc và phiên bản đã chỉnh sửa trên cùng một câu hỏi trong Space ML-Intern-lab/weight-space-programming-demo (liên kết akhaliq/weight-space-programming-demo ghi trong thẻ mô hình đã chuyển hướng đến đây).
Rủi ro
- Đây là mô hình nhỏ 0.8B, sau khi sửa lỗi điểm MATH-500 cũng chỉ đạt khoảng 50%, vẫn có khoảng một phần ba câu trả lời suy nghĩ đến giới hạn, không phù hợp làm trợ lý toán học thực tế; nó chủ yếu là một minh chứng nghiên cứu.
- Kết quả do tác giả và akhaliq tự chạy, sử dụng suy luận dài (tối đa 32,768 token) cùng các tham số lấy mẫu cụ thể; điểm thấp của phiên bản gốc chủ yếu do vòng lặp vô hạn không đưa ra được đáp án, nếu đổi giới hạn ngắn hơn hoặc tham số lấy mẫu khác thì kết quả sẽ thay đổi. Khi chạy lại, phiên bản gốc chỉ được kiểm tra nhanh (smoke test) trên 25 câu hỏi.
- Mô hình tiên tiến dùng để thực hiện chỉnh sửa không được công khai, những gì người khác có thể tái hiện là điểm kiểm tra đã chỉnh sửa và các đánh giá này, chứ không phải bản thân quá trình "để mô hình lớn chỉnh sửa trọng số"; kho lưu trữ là phiên bản đa phương thức đầy đủ, trong khi đánh giá trong bài viết gốc sử dụng phiên bản xuất ra chỉ văn bản (các tensor phần ngôn ngữ có hash nhất quán).