도구 호출 에이전트를 위한 학습 데이터 생성 방법: 저자들은 '성공적인 궤적'이 반드시 좋은 감독 신호가 아니라고 주장합니다. 다단계 의존성을 놓치거나, 당시에는 근거를 확인할 수 없는 동작을 포함할 수 있기 때문입니다. Trajectory2Gym은 학습 데이터셋에서 커버리지가 부족한 '관찰-동작' 조합 구조를 중심으로 실행 가능한 상호작용을 구성하며, 당시 가용한 히스토리 내에서 근거가 있는 결정만을 감독 대상으로 삼습니다. 이후 구조적 지지도를 기준으로 샘플을 할당하고, 전체 상호작용 단위로 가중치를 적용하여 미세 조정을 수행합니다.
좋아요 336 · 코드 스타 수 5
이유
- 저자들은 5 크기의 Qwen3 모델에서 Tau1, Tau2, BFCL 세 가지 벤치마크 모두 각 크기별로 성능이 향상되었으며, 세 항목의 등가중 평균이 16.9–29.8 퍼센트 포인트 상승했다고 보고했습니다. 특히 다중 턴, 상태 유지, 이후 결정이 이전 피드백에 의존하는 작업에서 가장 큰 개선이 나타났습니다.
- 학습에는 일반적인 어시스턴트 토큰 교차 엔트로피만 사용하며 강화 학습을 사용하지 않아 재사용 장벽이 낮습니다.
- 5 크기의 가중치와 후보 상호작용 데이터가 모두 공개되어 있어 도구 호출 기반 모델이나 대조군으로 바로 활용할 수 있습니다. 이번 호의 좋아요 수 336은 순위 1로, 이는 단지 관심도를 나타냅니다.
사용법
- 코드: github.com/yihaohu0118/Trajectory2Gym (Apache-2.0, Python 3.10+). pip install -e ".[dev]" 설치 후 CPU에서 포함된 회귀 테스트와 examples/structural_support_demo.py 데모를 실행할 수 있습니다.
- 가중치: Hugging Face mis2/Trajectory2Gym-1.7B / 4B / 8B / 14B / 30B-A3B (모델 카드에 apache-2.0로 표기됨). transformers로 직접 로드 가능. 모델 카드에서는 자체 토크나이저와 네이티브 도구 형식, 비추론 모드 생성(apply_chat_template에 enable_thinking=False 전달)을 요구합니다.
- 데이터: Hugging Face 데이터셋 mis2/Trajectory2gym. 후보 상호작용 34,772개, 약 125 MB.
리스크
- 1.7B / 4B / 8B 모델은 float32 형식으로 원본 그대로 저장되어 있어(8B의 경우 약 32.8 GB), 일반적인 BF16 버전보다 로드 시 메모리 사용량이 두 배이며, 사용자가 직접 정밀도를 변환해야 합니다.
- 공개된 데이터는 후보 풀일 뿐, 논문에서 각 크기별로 실제로 사용된 학습 뷰가 아닙니다. README에서는 이 코드만으로는 논문의 수치를 재현할 수 없다고 명시하고 있습니다. 벤치마크 점수는 저자가 보고한 원본 실험 결과이며, 공개 시점에 재실행되지 않았습니다.
열기 · 코드 · Hugging Face 논문 페이지