SteerDistill : un enseignant avec correction d'erreurs pour réduire les erreurs des agents quantifiés

La quantification à faible bit amène les agents à ignorer les exigences de la tâche ou les conditions environnementales, ce qui les conduit à suivre des trajectoires différentes de celles des modèles en pleine précision. SteerDistill permet aux étudiants quantifiés de reprendre depuis l'historique et l'état environnemental précédant l'erreur ; un enseignant en pleine précision, gelé, modifie itérativement ses directives en fonction des retours d'exécution jusqu'à ce que cette étape passe la validation locale. Ensuite, l'étudiant s'entraîne sans directives : dans les épisodes corrigés, il imite « lui-même guidé », et dans les autres épisodes, il imite l'enseignant ; lors de l'inférence, l'enseignant n'est plus nécessaire. Les auteurs affirment que sur cinq benchmarks d'agents et trois modèles, avec une quantification W4A16, le score moyen est supérieur de 1.67 à 2.18 points par rapport à la meilleure ligne de base de quantification, et diffère de moins de 1 points du BF16. Sur τ²-Bench, le taux de réussite est supérieur de 1.84 points de pourcentage à celui de QeRL, avec une durée d'entraînement GPU réduite de 67%.

Titre original : SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering

La quantification à faible bit amène les agents à ignorer les exigences de la tâche ou les conditions environnementales, ce qui les conduit à suivre des trajectoires différentes de celles des modèles en pleine précision. SteerDistill permet aux étudiants quantifiés de reprendre depuis l'historique et l'état environnemental précédant l'erreur ; un enseignant en pleine précision, gelé, modifie itérativement ses directives en fonction des retours d'exécution jusqu'à ce que cette étape passe la validation locale. Ensuite, l'étudiant s'entraîne sans directives : dans les épisodes corrigés, il imite « lui-même guidé », et dans les autres épisodes, il imite l'enseignant ; lors de l'inférence, l'enseignant n'est plus nécessaire. Les auteurs affirment que sur cinq benchmarks d'agents et trois modèles, avec une quantification W4A16, le score moyen est supérieur de 1.67 à 2.18 points par rapport à la meilleure ligne de base de quantification, et diffère de moins de 1 points du BF16. Sur τ²-Bench, le taux de réussite est supérieur de 1.84 points de pourcentage à celui de QeRL, avec une durée d'entraînement GPU réduite de 67%.

Pourquoi c'est important La quantification permet de réduire les coûts d'inférence, mais les agents omettent souvent les exigences de la tâche en conséquence ; cette méthode récupère la majeure partie des pertes et nécessite moins de ressources de calcul pour l'entraînement que les solutions par apprentissage par renforcement

J'aime 31 · Étoiles du code 7

Raisons

  • Le code couvre l'ensemble du flux : préparation des données, calibrage d'élagage, exportation du modèle quantifié, distillation en ligne et évaluation ; une seule commande permet d'exécuter l'exemple de Qwen3-8B sur BFCL V4
  • Prend en charge Qwen3-8B (W4A16, W4A8, W2A16), Qwen3.5-4B et Gemma 4 12B-it ; les benchmarks sont BFCL V4, tau2-Bench, WebShop, ALFWorld et Search QA

Utilisation

  • Code : licence https://github.com/air-embodied-brain/SteerDistill(MIT)
  • Suivez le README pour configurer l'environnement, renseignez le chemin du point de contrôle BF16 après apprentissage par renforcement dans configs/local.env, puis exécutez bash scripts/run/run_benchmark.sh full --model qwen3_8b --benchmark bfcl_v4 ; l'évaluation de la recherche web nécessite la configuration de SERPAPI_API_KEY

Risques

  • Les points de contrôle quantifiés entraînés ne sont pas encore publiés (indiqués comme TODO dans le README) ; il faut commencer l'entraînement à partir du modèle BF16 après apprentissage par renforcement
  • La configuration d'entraînement de référence utilise 8 cartes A100 80GB, et nécessite des environnements distincts pour l'inférence et les benchmarks
  • Les résultats sont ceux rapportés par les auteurs ; cette entrée n'a pas été exécutée

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA