Для обучения с подкреплением в длинном контексте требуются данные, которые одновременно длинны, сложны и позволяют автоматически проверять правильность ответов. Ручная разметка дорога, внешних корпусов недостаточно, а использование более мощных моделей-учителей становится всё более сложной задачей. LongZero позволяет обучаемой модели самой генерировать задачи: сначала в компактной структурированной форме записываются вопрос, подтверждающие доказательства и ответ, затем доказательства расширяются в несколько длинных документов, создавая задачи на многошаговое рассуждение; дополнительно добавляются задачи на многошаговый поиск в длинных диалогах, составленных из ответов самой модели. Оставляются только те задачи, на которые модель отвечает то верно, то неверно, и обучение проводится с помощью GRPO.
Лайки 4 · Звёзды в коде 4
Причины
- Не зависит от внешних корпусов или более мощных моделей-учителей: по мере усиления обучаемой модели сложность данных также генерируется ею самой, что авторы считают устойчивым путём развития.
- Авторы заявляют, что на двух моделях и пяти бенчмарках длинного контекстного рассуждения (LongBench Multi-doc QA, LongBench v2, FRAMES, AA-LCR, LongReason) метод превосходит базовые линии обучения с подкреплением на синтетических данных из внешних корпусов (в аннотации конкретные цифры не приведены).
- Высокая воспроизводимость: доступны скрипты для синтеза данных, обучения (модифицированный снимок verl) и оценки; синтетические обучающие данные для Qwen3-4B-Thinking-2507 и Qwen3-8B размещены на Hugging Face, а в папке results/ содержатся баллы по каждому вопросу и скрипты для пересчёта.
- Код распространяется под лицензией MIT.
Использование
- Код: github.com/zhennan1/LongZero; данные: hf download zhennan1/LongZero --repo-type dataset --include "data/*" (для каждой модели 2,304 примеров на рассуждение + 1,152 примеров на поиск для обучения).
- Окружение: Linux, Python 3.12, CUDA; в README указаны версии PyTorch 2.9.0+cu128, vLLM 0.11.1, FlashAttention 2.8.3, затем выполните pip install --no-deps -e training/verl_4b (или verl_8b).
- Обучение: MODEL_PATH=… DATA_DIR=data/qwen3_4b bash training/train_4b.sh; один узел с 8 GPU, на каждом шаге 64 запросов × 8 ответов, скорость обучения 1e-6; в статье сообщается, что для модели 4B используется шаг 72, а для 8B — шаг 108.
- Генерация собственных данных: сначала запустите обучаемую модель через vllm serve, затем выполните synthesis/gen_pipeline.py и repeat_eval.py для отбора задач.
Риски
- Обученные веса моделей не опубликованы, доступны только данные и код; для использования необходимо обучать модель самостоятельно.
- Порог входа для обучения составляет один узел с 8 GPU; метод проверен только на двух моделях Qwen3 4B / 8B.
- Для оценки на AA-LCR требуется API модели-судьи, совместимое с OpenAI; выводы об эффективности принадлежат авторам, в аннотации конкретная величина улучшения не указана.