デューク大学、バイトダンス、メリーランド大学、バッファロー大学の共同によるエージェント基盤モデル。訓練はわずか3ステップで構成され、2回の軽量SFTと強化学習のみを行い、専用の中間訓練、DPO、オンライン蒸留は実施しない。第1段階のSFTではツールに依存しない推論能力を鍛える：合成難問を作成した後、ベースモデルが既に解けた問題に対し、組み合わせ、パラメータ化、値域の変更、場合分けなどの手法で難易度を上げ、各改変後に正解を確認する。第2段階では、NASA系外惑星カタログ、OurAirports、OpenAlex、UniProt、Ensemblなどの公開データベースを使用し、プログラムがまずレコードをフィルタリングして一意の正解を算出し、その後大規模言語モデルに問題を作成させる。モデルは検索、ウェブ閲覧、Pythonを用いて証拠を探すことしか許されない。最後に非同期GRPOにより長期的なツール操作能力を強化する。重みファイルに加え、データ構築、生成、フィルタリング、検証、プロンプト、訓練コードもすべて公開されている。
いいね 39 · コードスター数 37
理由
- READMEに記載された論文の結果：Axion 1.0-122B（Qwen3.5-122B-A10Bベース）は、ウェブサイトアクセスを制限した完全なHLEベンチマークで 59.0、FrontierScience Olympiad で 87.0、FrontierScience Research で 66.7 を記録。Axion 1.0-35B（Qwen3.6-35B-A3Bベース、アクティブパラメータ 3B）は SEAL-0 で 62.2 を記録。著者らは一部のエージェントベンチマークにおいて、主要な商用モデルと同等のパフォーマンスを示したと述べている。
- 訓練コストが低い：READMEによると、第1段階のSFTには 10,819 件のトラジェクトリ、第2段階には 7,544 件（約 312M トークン）を使用。両段階のSFTを 32 カードで実行した場合、35B モデルで合計約 90 GPU時間、122B モデルで約 240 GPU時間が必要。
- 再現可能：訓練データは Hugging Face の Axion1-0/axion-training-data に公開されており、コードは Apache-2.0 ライセンス（SFTには Swift + Megatron-FSDP、RLには verl を使用）。Hugging Face の Axion1-0/Axion-1.0-35B はレシピに基づいて再現されたチェックポイント（Apache-2.0）であり、モデルカードによれば再現版のHLEスコアは 52.8、SEAL-0 スコアは 60.4 で、論文版に近い値を示している。Hugging Faceでの当日のいいね数は 39、コードスター数は 37（これは単なる注目度を示すもの）。
使い方
- 再現版のデプロイ（モデルカードの例では 8 カードを使用。VRAMに応じて調整可能）：
vllm serve Axion1-0/Axion-1.0-35B --served-model-name axion-35b --tensor-parallel-size 8 --dtype bfloat16 --max-model-len 131072 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3\_coderを実行し、その後OpenAI互換APIを呼び出す。 - データ生成 / 評価：
git clone https://github.com/bytedance/axion1\_0.git，另建を実行し、Python 3.11+ 環境でpython -m pip install -e ".\[data,evaluation\]"をインストール。axion/datagen/stage1 および stage2 のREADMEに従って2段階のデータを生成する。axion/evaluation は FrontierScience、HiPhO、HLE-130、SEAL-0 のデータ準備とスコアリングを担当する。 - 訓練：axion/training/README.md に従って2段階のSFTと非同期GRPOを実行。訓練されたチェックポイントは、まずHugging Face形式にエクスポートしてからvLLMでサービスを開始する必要がある。
リスク
- READMEでは 35B チェックポイントをコミュニティによる再現版と呼び、公式のAxionチェックポイントではないと明記されている。論文に記載された 122B およびSFTのみを行った 4B / 9B 変体の重みは公開されていない。
- エージェント評価には、ツール呼び出しを実行するための外部フレームワークを別途設定する必要がある。リポジトリの評価スクリプトはデータ準備とスコアリングのみを行う。RLではロールアウト、訓練、補助サービスを異なるGPUプールに分割する必要があり、再現のハードルが高い。
- 比較表で * が付いているベースラインスコアはAxionチームが独自に測定したものであり、その他は公式レポートから引用されている。すべてのスコアは著者による報告値である。
開く · コード · Hugging Face論文ページ