長文脈強化学習には、長く、難易度が高く、かつ自動で正誤判定ができるデータが必要だが、人手によるアノテーションはコストが高く、外部コーパスは不足しており、より強力な教師モデルに依存することもますます困難になっている。LongZeroでは、学習対象のモデル自身に問題を生成させる。まず、問題、根拠となる証拠、および答えをコンパクトな構造化形式で記述し、その後、証拠を複数の長文ドキュメントに拡張して多段推論問題を作成する。さらに、モデル自身の応答を組み合わせた長文対話における多段検索問題も追加する。モデルが正解する場合と不正解する場合が混在する問題のみを保持し、GRPOを用いて学習を行う。
いいね 4 · コードスター数 4
理由
- 外部コーパスやより強力な教師モデルに依存しない：学習対象モデルが強くなるにつれて、データ難易度もモデル自身によって生成されるため、著者はこれを持続可能なアプローチと見なしている。
- 著者は、2つのモデルおよび5つの長文脈推論ベンチマーク（LongBench マルチドキュメントQA、LongBench v2、FRAMES、AA-LCR、LongReason）において、外部コーパスから合成したデータを用いた強化学習ベースラインを上回ったと主張している（要約には具体的な数値は記載されていない）。
- 再現性が高い：データ合成、学習（修正されたverlスナップショット）、評価スクリプトがすべて提供されており、Qwen3-4B-Thinking-2507 および Qwen3-8B の合成学習データはHugging Faceに公開されている。results/ ディレクトリには問題ごとのスコアと再計算スクリプトが含まれている。
- コードはMITライセンス。
使い方
- コード：github.com/zhennan1/LongZero；データ：hf download zhennan1/LongZero --repo-type dataset --include "data/*"（モデルごとに推論用サンプル 2,304 件 + 検索用学習サンプル 1,152 件）。
- 環境：Linux、Python 3.12、CUDA；READMEに記載されているバージョンは PyTorch 2.9.0+cu128、vLLM 0.11.1、FlashAttention 2.8.3 であり、さらに pip install --no-deps -e training/verl_4b（または verl_8b）を実行する。
- 学習：MODEL_PATH=… DATA_DIR=data/qwen3_4b bash training/train_4b.sh；単一ノードで 8 枚のGPUを使用し、各ステップで 64 個のプロンプト × 8 個の応答、学習率 1e-6、論文では 4B モデルは第 72 ステップ、8B モデルは第 108 ステップの結果を報告している。
- 独自にデータを生成する場合：まず vllm serve で学習対象モデルを起動し、その後 synthesis/gen_pipeline.py と repeat_eval.py を実行して問題をフィルタリングする。
リスク
- 学習済みモデルの重みは公開されておらず、データとコードのみが提供されているため、利用するには自分で学習する必要がある。
- 学習のハードルは単一ノードで 8 枚のGPUが必要であること；検証は Qwen3 4B / 8B の2つのモデルでのみ実施されている。
- AA-LCR 評価には OpenAI 互換の採点モデルAPIが必要；効果に関する結論は著者による報告であり、要約には具体的な改善幅は記載されていない。
開く · コード · Hugging Face論文ページ