ByteDanceなどのオープンソースエージェントモデルAxion 1.0、訓練はわずか3段階

The Decoderによると、ByteDanceとデューク大学、メリーランド大学、バッファロー大学の研究者が、エージェント基盤モデルAxion 1.0を公開した。訓練はわずか3段階で構成されている。すなわち、軽量な教師あり微調整(SFT)を2ラウンド行い、さらに強化学習を1ラウンド行うもので、専用の中間期訓練、DPO(直接選好最適化)、オンライン蒸留は実施していない。技術レポートによれば、第1ラウンドでは基盤モデルの解题戦略に基づき難易度を上げた推論問題を使用し、第2ラウンドでは実データソースから構築され、答えを自動検証できるツール呼び出しタスクを使用する。最終段階では強化学習により長期的な推論能力とツール操作能力を向上させる。論文によれば、このモデルは複数のエージェント評価ベンチマークにおいて、主要な商用モデルと競合しうる性能を示すという。GitHubリポジトリにはデータ構築、フィルタリング、プロンプト、訓練コードが公開されており、訓練データはHugging Faceに置かれている。2つのバージョンはそれぞれQwen3.6-35B-A3BおよびQwen3.5-122B-A10Bを基盤として訓練されている。

原題:Bytedance argues most AI training phases are unnecessary and backs it up with a competitive open model

The Decoderによると、ByteDanceとデューク大学、メリーランド大学、バッファロー大学の研究者が、エージェント基盤モデルAxion 1.0を公開した。訓練はわずか3段階で構成されている。すなわち、軽量な教師あり微調整(SFT)を2ラウンド行い、さらに強化学習を1ラウンド行うもので、専用の中間期訓練、DPO(直接選好最適化)、オンライン蒸留は実施していない。技術レポートによれば、第1ラウンドでは基盤モデルの解题戦略に基づき難易度を上げた推論問題を使用し、第2ラウンドでは実データソースから構築され、答えを自動検証できるツール呼び出しタスクを使用する。最終段階では強化学習により長期的な推論能力とツール操作能力を向上させる。論文によれば、このモデルは複数のエージェント評価ベンチマークにおいて、主要な商用モデルと競合しうる性能を示すという。GitHubリポジトリにはデータ構築、フィルタリング、プロンプト、訓練コードが公開されており、訓練データはHugging Faceに置かれている。2つのバージョンはそれぞれQwen3.6-35B-A3BおよびQwen3.5-122B-A10Bを基盤として訓練されている。

なぜ重要か エージェントの訓練パイプラインは複雑化・多層化し、再現が難しくなっている。本成果は、シンプルな構成でも商用モデルに匹敵する性能が出せることを示しており、オープンソースコミュニティがこれを参考に再現や改良を行える点が重要である。

信頼性:高信頼 · 出典 ByteDance GitHub(axion1_0)など 3 件(公式含む) · イベント日時 11-21 17:17(北京時間)

理由

  • ByteDanceのGitHubリポジトリおよびarXiv技術レポートで、完全な訓練レシピが公開されている
  • The Decoderによる報道

使い方

  • GitHubリポジトリ bytedance/axion1_0 には訓練コードと再現手順が含まれており、訓練データはHugging Faceのデータセット Axion1-0/axion-training-data にある

リスク

  • リポジトリのREADMEによると、Hugging Face上のAxion 1.0-35Bはコミュニティによる再現版であり、公式の重みではない
  • 比較対象モデルの一部のスコアはAxionチーム自身が評価したものである(READMEでは星印で注記されている)。技術レポートは11月2日にarXivで公開済みだが、本記事ではメディア報道に基づき収録している

開く · ByteDance GitHub(axion1_0) · arXiv技術レポート

The Decoder

最新の AI ニュースを見る