Метод обучения с предпочтениями для сокращения длины цепочки рассуждений. Вместо того чтобы просто поощрять короткие ответы, он находит в собственных траекториях рассуждений модели состояния, где «информации уже достаточно, но модель продолжает думать», фиксирует префикс рассуждений до этого момента, заново генерирует из того же состояния более короткое продолжение с проверенным ответом, формирует пары предпочтений «продолжить думать vs завершить» в одном и том же состоянии, а затем обучает модель с помощью DPO, чтобы научить её понимать, когда нужно остановиться. Все обучающие данные получены из собственных траекторий математических рассуждений модели.
Лайки 65 · Звёзды в коде 6
Причины
- Авторы заявляют, что на пяти математических и трёх кодовых бенчмарках длина вывода для математических задач сократилась на 41.7%–45.4%, а для кодовых — на 23.4%–36.3%, при этом точность осталась на прежнем уровне или улучшилась; метрика AUC на кодовых бенчмарках оказалась лучшей во всех случаях; обучение только на математических данных позволяет переносить результат на задачи программирования.
- Веса опубликованы: модель MuyaoYuan/LoCo-7B на Hugging Face (сжатая версия DeepSeek-R1-Distill-Qwen-7B, лицензия MIT), которую можно напрямую загрузить в vLLM; в репозитории представлен полный цикл генерации данных, обучения и оценки, код распространяется под лицензией MIT.
- Модель заняла третье место по количеству лайков за день (что отражает только уровень внимания); метод формирования пар предпочтений «только в состояниях с избыточным размышлением» не привязан к конкретной модели и может быть перенесён на другие модели рассуждений.
Использование
- Готовое применение: загрузка модели MuyaoYuan/LoCo-7B в vLLM (в карточке модели указаны параметры max_model_len=36864, temperature 0.6, top_p 0.95, max_tokens 32768); в конце промпта требуется пошаговое рассуждение и помещение ответа в \boxed{}.
- Самостоятельная генерация данных: скачайте базовую модель DeepSeek-R1-Distill-Qwen-7B и модель-судью Qwen3-30B-A3B-Instruct-2507, затем последовательно выполните шесть скриптов из папки construction/ (от 1_rollout до 6_build_dpo) на встроенном в репозиторий наборе задач math14k, чтобы получить файл out/6_build_dpo/dpo.jsonl.
- Обучение и оценка: выполните bash script/train/run.sh (по умолчанию используются 4 GPU, 2 эпох, DeepSpeed ZeRO-2), затем python train/merge.py для слияния LoRA с базовой моделью, и bash script/eval/run.sh math500 или aime24 aime25 для оценки.
Риски
- Опубликован только один чекпойт размером 7B, базовая модель — более ранняя дистиллированная версия R1; для использования с другими моделями рассуждений потребуется самостоятельно заново генерировать данные и обучать модель, причём для генерации данных понадобится модель-судья размером 30B.
- Среда разработки основана на NVIDIA H20, CUDA 12.8 и Python 3.12, версии зависимостей жёстко зафиксированы (vllm 0.23.0, trl 0.29.1 и др.).
- Показатели длины и точности приведены по данным авторов; в статье проводилась оценка только на задачах по математике и программированию, отсутствуют данные о том, не приводит ли метод к преждевременному завершению генерации в открытых диалогах.