ツール呼び出しエージェント用の訓練データを生成する手法：著者は「成功した軌跡」が必ずしも良い教師信号になるとは限らないと指摘しています。多段階の依存関係を見逃したり、その時点で根拠が見えない行動を含んだりする可能性があるためです。Trajectory2Gym は、訓練セットでカバーが不十分な「観察—行動」の組み合わせ構造を中心に実行可能な相互作用を構築し、その時点で参照可能な履歴において根拠のある意思決定のみを教師目標として採用します。さらに、構造的な裏付け度合いに応じてサンプルを割り当て、相互作用全体を単位として重み付けした微調整を行います。
いいね 336 · コードスター数 5
理由
- 著者によると、5 種類のサイズの Qwen3 において、Tau1、Tau2、BFCL の 3 つのベンチマークすべてで各サイズにおいて性能が向上し、3 項目の等重み平均で 16.9～29.8 ポイント上昇しました。特に、マルチターンで状態を持ち、後の意思決定が前のフィードバックに依存するタスクで最も大きな改善が見られました。
- 訓練には通常のアシスタントトークンの交差エントロピーのみを使用し、強化学習を用いないため、再利用のハードルが低いです。
- 5 種類のサイズの重みと候補相互作用データの両方が公開されており、ツール呼び出しの基盤モデルや対照群として直接使用できます。今期のいいね数 336 は第 1 位ですが、これは単に関心の高さを示すものです。
使い方
- コード: github.com/yihaohu0118/Trajectory2Gym（Apache-2.0、Python 3.10+）。pip install -e ".[dev]" を実行後、CPU で同梱の回帰テストと examples/structural_support_demo.py デモを実行できます。
- 重み: Hugging Face の mis2/Trajectory2Gym-1.7B / 4B / 8B / 14B / 30B-A3B（モデルカードには apache-2.0 と記載）で、transformers で直接読み込めます。モデルカードでは、同梱のトークナイザーとネイティブのツール形式を使用し、思考モード無効（apply_chat_template で enable_thinking=False を指定）で生成することが要求されています。
- データ: Hugging Face データセット mis2/Trajectory2gym で、34,772 件の候補相互作用、約 125 MB です。
リスク
- 1.7B / 4B / 8B は float32 のまま保存されています（8B で約 32.8 GB）。読み込み時のメモリ使用量は一般的な BF16 バージョンの 2 倍になるため、精度変換を自分で行う必要があります。
- 公開されているデータは候補プールであり、論文で各サイズにおいて実際に使用された訓練ビューではありません。README には、このコードのみでは論文の数字を再現できないことが明記されています。ベンチマークスコアは著者が報告した元の実験結果であり、公開時に再実行は行っていません。
開く · コード · Hugging Face 論文ページ