Một phương pháp học sở thích để nén độ dài chuỗi suy nghĩ. Thay vì khen thưởng chung chung cho các câu trả lời ngắn, phương pháp này xác định các trạng thái ứng viên trong chính quỹ đạo suy luận của mô hình, nơi “thông tin đã đủ nhưng vẫn đang suy nghĩ”, đóng băng phần tiền tố suy luận cho đến bước đó, tái tạo từ cùng một trạng thái một phần tiếp nối ngắn hơn với đáp án đã được kiểm chứng, tạo thành các cặp sở thích “tiếp tục suy nghĩ vs. kết thúc” ở cùng một trạng thái, sau đó sử dụng DPO để huấn luyện, giúp mô hình học khi nào nên dừng lại. Toàn bộ dữ liệu huấn luyện đều đến từ các quỹ đạo suy luận toán học do chính mô hình tạo ra.
Lượt thích 65 · Số sao mã nguồn 6
Lý do
- Tác giả tuyên bố rằng trên năm tiêu chuẩn toán học và ba tiêu chuẩn mã hóa, độ dài đầu ra toán học giảm 41.7%–45.4%, mã hóa giảm 23.4%–36.3%, độ chính xác giữ nguyên hoặc cải thiện, AUC trên các tiêu chuẩn mã hóa đều tốt nhất; chỉ cần huấn luyện bằng dữ liệu toán học cũng có thể chuyển giao sang mã hóa.
- Trọng số đã được công bố: Hugging Face MuyaoYuan/LoCo-7B (phiên bản nén của DeepSeek-R1-Distill-Qwen-7B, giấy phép MIT), có thể tải trực tiếp bằng vLLM; kho lưu trữ bao gồm toàn bộ quy trình tạo dữ liệu, huấn luyện và đánh giá, mã nguồn theo giấy phép MIT.
- Đứng thứ ba về lượt thích trong ngày trên Hugging Face (chỉ phản ánh mức độ quan tâm); phương pháp tạo dữ liệu “xây dựng các cặp sở thích chỉ trên các trạng thái suy nghĩ quá mức” không phụ thuộc vào mô hình cụ thể, có thể áp dụng cho các mô hình suy luận khác.
Cách sử dụng
- Sử dụng trực tiếp: Tải MuyaoYuan/LoCo-7B bằng vLLM (ví dụ trên thẻ mô hình: max_model_len=36864, temperature 0.6, top_p 0.95, max_tokens 32768), yêu cầu suy luận từng bước ở cuối prompt và đặt đáp án vào \boxed{}.
- Tự tạo dữ liệu: Tải mô hình cơ sở DeepSeek-R1-Distill-Qwen-7B và mô hình đánh giá Qwen3-30B-A3B-Instruct-2507, chạy lần lượt sáu tập lệnh từ 1_rollout đến 6_build_dpo trong thư mục construction/ trên bộ đề toán math14k đi kèm kho lưu trữ, thu được out/6_build_dpo/dpo.jsonl.
- Huấn luyện và đánh giá: Chạy bash script/train/run.sh (mặc định 4 GPU, 2 epoch, DeepSpeed ZeRO-2), dùng python train/merge.py để hợp nhất LoRA vào mô hình cơ sở, chạy bash script/eval/run.sh math500 hoặc aime24 aime25 để đánh giá.
Rủi ro
- Chỉ có một điểm kiểm tra 7B được công bố, mô hình cơ sở là mô hình chưng cất R1 cũ hơn; nếu chuyển sang các mô hình suy luận khác, bạn phải tự chạy lại quy trình tạo dữ liệu và huấn luyện, việc tạo dữ liệu còn cần một mô hình đánh giá cỡ 30B.
- Môi trường phát triển sử dụng NVIDIA H20, CUDA 12.8, Python 3.12, các phiên bản phụ thuộc được khóa chặt (vllm 0.23.0, trl 0.29.1, v.v.).
- Các số liệu về độ dài và độ chính xác là do tác giả báo cáo; bài báo chỉ đánh giá trên toán học và mã hóa, chưa có dữ liệu về việc liệu mô hình có kết thúc quá sớm trong các cuộc hội thoại mở hay không.