Trajectory2Gym: Синтез композиционных взаимодействий на основе принятия решений для агентов, использующих инструменты

Метод генерации обучающих данных для агентов, вызывающих инструменты: авторы полагают, что «успешные траектории» не всегда являются хорошей обучающей выборкой — они могут упускать многошаговые зависимости или содержать действия, обоснование которых было недоступно в момент их выполнения. Trajectory2Gym конструирует исполняемые взаимодействия, ориентируясь на недостаточно представленные в обучающей выборке структуры комбинаций «наблюдение—действие», использует в качестве цели обучения только те решения, которые обоснованы историей, видимой в данный момент, а затем распределяет примеры по степени структурной поддержки и выполняет дообучение с весами, назначаемыми на уровне целых взаимодействий.

Лайки 336 · Звёзды в коде 5

Обоснование

• Авторы сообщают, что на моделях Qwen3 всех 5 размеров наблюдается улучшение на трёх бенчмарках — Tau1, Tau2 и BFCL, — а среднее арифметическое по трём метрикам выросло на 16.9–29.8 процентных пункта; наибольший прирост достигнут в многошаговых задачах с состоянием, где последующие решения зависят от предыдущих обратной связи.
• Обучение использует только стандартную перекрёстную энтропию по токенам ассистента, без обучения с подкреплением, что снижает порог повторного использования.
• Веса для 5 размеров и данные-кандидаты для взаимодействия опубликованы, их можно напрямую использовать в качестве основы для вызова инструментов или контрольной группы; в этом выпуске проект занимает 1-е место по числу лайков 336, что отражает лишь уровень внимания.

Использование

• Код: github.com/yihaohu0118/Trajectory2Gym (лицензия Apache-2.0, Python 3.10+); после установки pip install -e ".\[dev\]" можно запускать на CPU встроенные регрессионные тесты и демонстрацию examples/structural\_support\_demo.py.
• Веса: доступны на Hugging Face в репозиториях mis2/Trajectory2Gym-1.7B / 4B / 8B / 14B / 30B-A3B (в карточках моделей указана лицензия apache-2.0), загружаются напрямую через transformers; карточки моделей требуют использования собственного токенизатора и нативного формата вызова инструментов, а также генерации в режиме без размышлений (при вызове apply\_chat\_template необходимо передать enable\_thinking=False).
• Данные: набор данных на Hugging Face mis2/Trajectory2gym, содержащий 34,772 кандидатов на взаимодействие, объёмом около 125 МБ.

Риски

• Модели размером 1.7B / 4B / 8B хранятся в формате float32 «как есть» (модель 8B занимает около 32.8 ГБ), поэтому потребление памяти при загрузке вдвое выше, чем у распространённых версий в формате BF16, и требует самостоятельного преобразования точности.
• Опубликованные данные представляют собой пул кандидатов, а не фактические обучающие представления, использованные авторами для каждого размера модели; в README прямо указано, что только с помощью этого кода невозможно воспроизвести результаты из статьи. Оценки на бенчмарках приведены как оригинальные экспериментальные результаты, сообщённые авторами, и не были пересчитаны при публикации.

Открыть · Код · Страница статьи на Hugging Face