Titre original : harness-hub/Qwen3.8-27B-pi-adapted
LoRA adapter uploadé par harness-hub le 16 11 (r=32), basé sur le modèle de base Qwen/Qwen3.8-27B, entraîné via l'apprentissage par renforcement AsyncGRPO de TRL pour servir de modèle sous-jacent au pi coding agent dans des tâches d'ingénierie logicielle et de terminal. Les tâches d'entraînement proviennent de scale800 (750 tâches) et de TermGrade (300 tâches), avec une récompense basée sur le taux de réussite validé par les vérificateurs de tâches plus un léger bonus d'efficacité des outils ; ce dépôt est un point de contrôle à l'étape 160. Licence Apache-2.0, un adaptateur au format GGUF est également disponible.
Pourquoi c'est important Selon les informations officielles, le taux de réussite des tâches a augmenté de manière significative et le nombre d'appels d'outils a diminué de plus de la moitié ; la recette d'entraînement est publique, permettant d'entraîner des adaptateurs pour d'autres frameworks d'agents en suivant la même méthode
Score de progression 132 · J'aime 133 · Téléchargements 0
Raisons
- Selon les informations officielles, sous pi avec une exécution unique par question et une température de 0.8 : Terminal-Bench 2.1 est passé de 39.5% à 55.8%, avec 62% appels d'outils en moins par question ; SWE-bench Pro, sur les 51 questions les plus difficiles, est passé de 29.4% à 62.7%, avec 55% appels d'outils en moins
- La fiche technique fournit des intervalles de confiance pour les comparaisons par paires et un test de signe, ainsi qu'une liste séparée des 68 questions de Terminal-Bench non utilisées pour la sélection du point de contrôle (39.7% → 55.9%)
- Les instructions d'utilisation couvrent le chargement de LoRA avec vLLM, transformers serve, l'ajout d'un adaptateur GGUF avec llama.cpp, Llama.app sur macOS, ainsi que la fusion en un modèle complet via PEFT (BF16 environ 54 Go)
Utilisation
- vLLM : vllm serve Qwen/Qwen3.8-27B --enable-lora --max-lora-rank 32 --lora-modules qwen3.8-pi=harness-hub/Qwen3.8-27B-pi-adapted, en ajoutant --mamba-cache-mode align (sans cette option, tout l'historique est relu à chaque tour), --tool-call-parser qwen3_xml, et en désactivant la réflexion
- pi (Node.js 22.19 ou supérieur) : installez @earendil-works/pi-coding-agent via npm, ajoutez le service local dans ~/.pi/agent/models.json, l'api doit être défini sur openai-completions (l'adaptateur n'a pas été entraîné avec l'API Responses)
- Exécution locale : avec llama.cpp, utilisez le GGUF Q8_0 de Qwen3.8-27B avec l'adaptateur F16 de harness-hub/Qwen3.8-27B-pi-GGUF ; plus la quantification du modèle de base est faible, plus les performances s'éloignent de celles obtenues lors de l'entraînement
Risques
- Le nom du dépôt indiqué dans les commandes de la fiche technique est harness-hub/Qwen3.8-27B-pi, mais cette adresse était inaccessible lors de la vérification de cette entrée ; il faut utiliser le nom du dépôt actuel harness-hub/Qwen3.8-27B-pi-adapted
- L'entraînement et l'évaluation n'ont été effectués que dans le framework pi, avec la réflexion désactivée ; il n'y a pas de données pour d'autres frameworks d'agents ou avec la réflexion activée ; la version GGUF n'a pas été réévaluée
- L'entraînement a été interrompu à l'étape 191 sur les 1000 étapes prévues, et le point de contrôle sélectionné est celui de l'étape 160 ; les scores SWE-bench Pro ont été consultés lors de la sélection, ce qui peut rendre l'amélioration de cette métrique optimiste ; cette entrée n'a pas été exécutée