Học tăng cường cho ngữ cảnh dài đòi hỏi dữ liệu vừa dài, vừa khó, vừa có thể tự động đánh giá đúng/sai; việc gán nhãn thủ công thì đắt đỏ, kho ngữ liệu bên ngoài không đủ, và dựa vào các mô hình giáo viên mạnh hơn ngày càng trở nên khó khăn. LongZero để chính mô hình đang được huấn luyện tự tạo câu hỏi: trước tiên viết vấn đề, bằng chứng hỗ trợ và đáp án dưới dạng cấu trúc gọn nhẹ, sau đó mở rộng bằng chứng thành nhiều tài liệu dài để tạo ra các bài toán suy luận đa bước; đồng thời bổ sung các bài toán truy xuất hội thoại dài nhiều vòng được ghép từ chính phản hồi của mô hình. Chỉ giữ lại những câu hỏi mà mô hình trả lời đúng lúc sai lúc, rồi huấn luyện bằng GRPO.
Thích 4 · Số sao mã nguồn 4
Lý do
- Không phụ thuộc vào kho ngữ liệu bên ngoài hoặc các mô hình giáo viên mạnh hơn: khi mô hình được huấn luyện trở nên mạnh mẽ, độ khó của dữ liệu cũng tự động tăng theo do chính nó tạo ra; tác giả cho rằng đây là một hướng đi bền vững.
- Tác giả tuyên bố vượt qua các baseline học tăng cường sử dụng dữ liệu tổng hợp từ kho ngữ liệu bên ngoài trên hai mô hình và năm benchmark suy luận ngữ cảnh dài (LongBench đa tài liệu, LongBench v2, FRAMES, AA-LCR, LongReason) (tóm tắt không cung cấp số liệu cụ thể).
- Mức độ tái lập cao: mã nguồn tổng hợp dữ liệu, huấn luyện (phiên bản sửa đổi của verl snapshot) và script đánh giá đều có sẵn; dữ liệu huấn luyện tổng hợp cho Qwen3-4B-Thinking-2507 và Qwen3-8B được lưu trên Hugging Face, thư mục results/ chứa điểm số từng câu hỏi và script tính toán lại.
- Mã nguồn theo giấy phép MIT.
Cách sử dụng
- Mã nguồn: github.com/zhennan1/LongZero; dữ liệu: hf download zhennan1/LongZero --repo-type dataset --include "data/*" (mỗi mô hình có 2,304 mẫu huấn luyện suy luận + 1,152 mẫu huấn luyện truy xuất).
- Môi trường: Linux, Python 3.12, CUDA; phiên bản được ghi trong README là PyTorch 2.9.0+cu128, vLLM 0.11.1, FlashAttention 2.8.3, sau đó chạy pip install --no-deps -e training/verl_4b (hoặc verl_8b).
- Huấn luyện: MODEL_PATH=… DATA_DIR=data/qwen3_4b bash training/train_4b.sh; một nút với 8 GPU, mỗi bước 64 prompt × 8 phản hồi, tốc độ học 1e-6, bài báo báo cáo rằng với mô hình 4B lấy bước thứ 72, còn với 8B lấy bước thứ 108.
- Tự tạo dữ liệu: trước tiên khởi động mô hình đang được huấn luyện bằng vllm serve, sau đó chạy synthesis/gen_pipeline.py và repeat_eval.py để lọc câu hỏi.
Rủi ro
- Không công bố trọng số mô hình đã huấn luyện, chỉ cung cấp dữ liệu và mã nguồn, người dùng phải tự huấn luyện nếu muốn sử dụng.
- Ngưỡng huấn luyện là một nút với 8 GPU; chỉ được xác thực trên hai mô hình Qwen3 4B / 8B.
- Đánh giá AA-LCR yêu cầu API mô hình chấm điểm tương thích OpenAI; kết luận về hiệu quả do tác giả báo cáo, tóm tắt không nêu rõ mức độ cải thiện cụ thể.