Une méthode d'apprentissage par préférence pour compresser la longueur de la chaîne de réflexion. Elle ne récompense pas globalement les réponses courtes, mais identifie dans les trajectoires de raisonnement du modèle lui-même les états candidats où « l'information est suffisante mais la réflexion continue ». Elle fige le préfixe de raisonnement jusqu'à cette étape, régénère à partir du même état une continuation plus courte dont la réponse est vérifiée, forme des paires de préférence « continuer à réfléchir vs conclure » dans le même état, puis utilise DPO pour entraîner le modèle à savoir quand s'arrêter. Les données d'entraînement proviennent entièrement des trajectoires de raisonnement mathématique auto-générées par le modèle.
J'aime 65 · Étoiles du code 6
Raisons
- Les auteurs affirment que sur cinq benchmarks mathématiques et trois benchmarks de code, la longueur de sortie mathématique est réduite de 41.7%–45.4%, celle du code de 23.4%–36.3%, avec une précision stable ou améliorée, et que l'AUC est la meilleure sur tous les benchmarks de code ; l'entraînement uniquement sur des données mathématiques permet une migration vers le code.
- Les poids sont disponibles : Hugging Face MuyaoYuan/LoCo-7B (version compressée de DeepSeek-R1-Distill-Qwen-7B, licence MIT), chargeable directement avec vLLM ; le dépôt inclut l'intégralité du flux de travail pour la génération de données, l'entraînement et l'évaluation, le code étant sous licence MIT.
- Troisième en nombre de « J'aime » sur Hugging Face le jour même (indique uniquement le niveau d'attention) ; la méthode de génération de données consistant à créer des paires de préférence uniquement sur les états de sur-réflexion n'est pas liée au modèle et peut être adaptée à d'autres modèles de raisonnement.
Utilisation
- Utilisation directe : charger MuyaoYuan/LoCo-7B avec vLLM (exemple de carte de modèle : max_model_len=36864, temperature 0.6, top_p 0.95, max_tokens 32768), en demandant à la fin du prompt un raisonnement étape par étape et la mise de la réponse dans \boxed{}.
- Génération de données personnalisée : télécharger le modèle de base DeepSeek-R1-Distill-Qwen-7B et le modèle de jugement Qwen3-30B-A3B-Instruct-2507, puis exécuter séquentiellement les six scripts de construction/ allant de 1_rollout à 6_build_dpo sur la base de problèmes math14k fournie dans le dépôt, pour obtenir out/6_build_dpo/dpo.jsonl.
- Entraînement et évaluation : bash script/train/run.sh (par défaut 4 GPU, 2 époques, DeepSpeed ZeRO-2), python train/merge.py pour fusionner LoRA dans le modèle de base, bash script/eval/run.sh math500 ou aime24 aime25 pour l'évaluation.
Risques
- Seul un checkpoint de 7B est disponible, le modèle de base est un modèle distillé R1 plus ancien ; pour l'adapter à d'autres modèles de raisonnement, il faut régénérer les données et réentraîner, ce qui nécessite également un modèle de jugement de taille 30B.
- L'environnement de développement est NVIDIA H20, CUDA 12.8, Python 3.12, avec des versions de dépendances strictement verrouillées (vllm 0.23.0, trl 0.29.1, etc.).
- Les chiffres de longueur et de précision sont rapportés par les auteurs ; le papier n'a évalué que les mathématiques et le code, il n'y a pas de données sur un éventuel arrêt prématuré dans les conversations ouvertes.