긴 컨텍스트 강화 학습은 길고, 어렵고, 자동으로 정답 여부를 판별할 수 있는 데이터를 필요로 하지만, 수동 라벨링은 비용이 많이 들고, 외부 말뭉치는 부족하며, 더 강력한 교사 모델에 의존하는 것도 점점 어려워지고 있습니다. LongZero는 학습 대상 모델이 스스로 문제를 생성하도록 합니다. 먼저 질문, 근거 증거 및 답안을 간결한 구조화된 형식으로 작성한 후, 증거를 여러 개의 긴 문서로 확장하여 다중 홉(multi-hop) 추론 문제를 만들고, 여기에 모델 자신의 응답으로 구성된 긴 대화형 다중 턴 검색 문제를 추가합니다. 모델이 정답과 오답을 혼재하는 문제만 선별하여 GRPO로 학습합니다.
좋아요 4 · 코드 스타 수 4
이유
- 외부 말뭉치나 더 강력한 교사 모델에 의존하지 않음: 학습 대상 모델이 강해질수록 데이터의 난이도도 모델 스스로 생성하므로, 저자들은 이를 지속 가능한 경로라고 평가합니다.
- 저자들은 두 개의 모델과 다섯 가지 긴 컨텍스트 추론 벤치마크(LongBench 다중 문서 QA, LongBench v2, FRAMES, AA-LCR, LongReason)에서 외부 말뭉치를 활용한 합성 데이터 기반 강화 학습 기준선을 능가했다고 주장합니다(초록에는 구체적인 수치가 제시되지 않음).
- 재현성이 높음: 데이터 합성, 학습(수정된 verl 스냅샷), 평가 스크립트가 모두 제공되며, Qwen3-4B-Thinking-2507 및 Qwen3-8B의 합성 학습 데이터는 Hugging Face에 게시되어 있고, results/ 폴더에는 문제별 점수와 재계산 스크립트가 포함되어 있습니다.
- 코드는 MIT 라이선스를 따릅니다.
사용법
- 코드: github.com/zhennan1/LongZero; 데이터: hf download zhennan1/LongZero --repo-type dataset --include "data/*" (모델별 추론 샘플 2,304개 + 검색 학습 샘플 1,152개).
- 환경: Linux, Python 3.12, CUDA; README에 기록된 버전은 PyTorch 2.9.0+cu128, vLLM 0.11.1, FlashAttention 2.8.3이며, pip install --no-deps -e training/verl_4b (또는 verl_8b)를 실행합니다.
- 학습: MODEL_PATH=… DATA_DIR=data/qwen3_4b bash training/train_4b.sh; 단일 노드 8 GPU, 각 단계마다 프롬프트 64개 × 응답 8개, 학습률 1e-6, 논문에서는 4B 모델의 경우 72단계, 8B 모델의 경우 108단계를 보고했습니다.
- 자체 데이터 생성: 먼저 vllm serve로 학습 대상 모델을 서빙한 후, synthesis/gen_pipeline.py와 repeat_eval.py를 실행하여 문제를 선별합니다.
리스크
- 학습된 모델 가중치는 공개되지 않았으며, 데이터와 코드만 제공되므로 직접 학습해야 합니다.
- 학습에는 단일 노드 8 GPU가 필요하며, Qwen3 4B / 8B 두 모델에서만 검증되었습니다.
- AA-LCR 평가에는 OpenAI 호환 채점 모델 API가 필요합니다. 성능 개선 결과는 저자들이 보고한 것이며, 초록에는 구체적인 향상 폭이 명시되지 않았습니다.
열기 · 코드 · Hugging Face 논문 페이지