Des modèles d'agents open source comme Axion de ByteDance 1.0, entraînés en seulement trois étapes

Selon The Decoder, des chercheurs de ByteDance et des universités Duke, du Maryland et Buffalo ont publié le modèle fondamental d'agent Axion 1.0. L'entraînement ne comporte que trois étapes : deux tours légers de micro-ajustement supervisé, suivis d'un tour d'apprentissage par renforcement, sans entraînement intermédiaire dédié, DPO ou distillation en ligne. Le rapport technique indique que le premier tour utilise des problèmes de raisonnement difficiles basés sur les stratégies de résolution du modèle de base, le deuxième tour utilise des tâches d'appel d'outils construites à partir de sources de données réelles avec des réponses vérifiables automatiquement, et l'apprentissage par renforcement final améliore le raisonnement à long terme et les capacités d'interaction avec les outils ; l'article affirme qu'il rivalise avec les modèles commerciaux leaders sur plusieurs évaluations d'agents. Le dépôt GitHub publie la construction des données, le filtrage, les prompts et le code d'entraînement, les données d'entraînement sont hébergées sur Hugging Face, et deux versions sont respectivement entraînées sur Qwen3.6-35B-A3B et Qwen3.5-122B-A10B.

Titre original : Bytedance argues most AI training phases are unnecessary and backs it up with a competitive open model

Selon The Decoder, des chercheurs de ByteDance et des universités Duke, du Maryland et Buffalo ont publié le modèle fondamental d'agent Axion 1.0. L'entraînement ne comporte que trois étapes : deux tours légers de micro-ajustement supervisé, suivis d'un tour d'apprentissage par renforcement, sans entraînement intermédiaire dédié, DPO ou distillation en ligne. Le rapport technique indique que le premier tour utilise des problèmes de raisonnement difficiles basés sur les stratégies de résolution du modèle de base, le deuxième tour utilise des tâches d'appel d'outils construites à partir de sources de données réelles avec des réponses vérifiables automatiquement, et l'apprentissage par renforcement final améliore le raisonnement à long terme et les capacités d'interaction avec les outils ; l'article affirme qu'il rivalise avec les modèles commerciaux leaders sur plusieurs évaluations d'agents. Le dépôt GitHub publie la construction des données, le filtrage, les prompts et le code d'entraînement, les données d'entraînement sont hébergées sur Hugging Face, et deux versions sont respectivement entraînées sur Qwen3.6-35B-A3B et Qwen3.5-122B-A10B.

Pourquoi c'est important Les flux d'entraînement des agents deviennent de plus en plus complexes et difficiles à reproduire ; cela montre qu'une recette simple peut approcher les performances des modèles commerciaux, permettant à la communauté open source de reproduire et d'améliorer le travail.

Fiabilité : Haute fiabilité · Sources ByteDance GitHub (axion1_0) etc. 3 sources (y compris officielles) · Date de l'événement 11-21 17:17 (heure de Pékin)

Raisons

  • Le dépôt GitHub de ByteDance et le rapport technique sur arXiv publient la recette d'entraînement complète
  • Reportage de The Decoder

Utilisation

  • Le dépôt GitHub bytedance/axion1_0 contient le code d'entraînement et les instructions de reproduction, les données d'entraînement se trouvent dans le jeu de données Hugging Face Axion1-0/axion-training-data

Risques

  • Le README du dépôt précise que la version Axion 1.0-35B sur Hugging Face est une reproduction communautaire, et non les poids officiels
  • Certains scores des modèles de comparaison ont été évalués par l'équipe Axion elle-même (indiqués par un astérisque dans le README) ; le rapport technique a été publié sur arXiv le 2 11, cet article est inclus selon les reportages médiatiques

Ouvrir · ByteDance GitHub (axion1_0) · Rapport technique arXiv

The Decoder

Parcourir les dernières actualités IA