Một phương pháp tạo dữ liệu huấn luyện cho các tác nhân gọi công cụ: Các tác giả cho rằng “các quỹ đạo thành công” không nhất thiết là giám sát tốt — chúng có thể bỏ sót các phụ thuộc đa bước hoặc chứa các hành động mà tại thời điểm đó không có cơ sở rõ ràng. Trajectory2Gym xây dựng các tương tác có thể thực thi xoay quanh các cấu trúc kết hợp “quan sát—hành động” bị thiếu hụt trong tập huấn luyện, chỉ coi các quyết định có cơ sở trong lịch sử khả kiến tại thời điểm đó làm mục tiêu giám sát, sau đó phân bổ mẫu theo mức độ hỗ trợ cấu trúc và thực hiện tinh chỉnh có trọng số theo từng tương tác hoàn chỉnh.
Lượt thích 336 · Sao mã 5
Lý do
- Các tác giả tuyên bố rằng trên các mô hình Qwen3 với 5 kích thước, cả ba tiêu chuẩn Tau1, Tau2 và BFCL đều có sự cải thiện ở mỗi kích thước; trung bình có trọng số bằng nhau của ba tiêu chuẩn tăng 16.9–29.8 điểm phần trăm; các tác vụ đa vòng, có trạng thái và các quyết định sau phụ thuộc vào phản hồi trước đó có mức cải thiện lớn nhất.
- Huấn luyện chỉ sử dụng cross-entropy token trợ lý thông thường, không dùng học tăng cường, nên rào cản tái sử dụng thấp.
- Trọng số của 5 kích thước và dữ liệu tương tác ứng viên đều đã được công khai, có thể sử dụng trực tiếp làm nền tảng gọi công cụ hoặc nhóm đối chứng; lượt thích 336 trong kỳ này xếp hạng 1, chỉ phản ánh mức độ quan tâm.
Cách sử dụng
- Mã nguồn: github.com/yihaohu0118/Trajectory2Gym (Apache-2.0, Python 3.10+), sau khi chạy pip install -e ".[dev]" có thể chạy các bài kiểm tra hồi quy đi kèm và demo examples/structural_support_demo.py trên CPU.
- Trọng số: Hugging Face mis2/Trajectory2Gym-1.7B / 4B / 8B / 14B / 30B-A3B (thẻ mô hình ghi apache-2.0), tải trực tiếp bằng transformers; thẻ mô hình yêu cầu sử dụng tokenizer đi kèm và định dạng công cụ gốc, tạo văn bản ở chế độ không suy nghĩ (truyền enable_thinking=False vào apply_chat_template).
- Dữ liệu: Tập dữ liệu Hugging Face mis2/Trajectory2gym, gồm 34,772 tương tác ứng viên, khoảng 125 MB.
Rủi ro
- Các phiên bản 1.7B / 4B / 8B được lưu trữ nguyên dạng ở float32 (8B khoảng 32.8 GB), mức sử dụng bộ nhớ khi tải lớn gấp đôi so với các phiên bản BF16 phổ biến, cần tự chuyển đổi độ chính xác.
- Dữ liệu công khai là kho ứng viên, không phải các quan điểm huấn luyện thực tế được sử dụng cho từng kích thước trong bài báo; README nói rõ rằng chỉ dùng mã nguồn này không thể tái tạo các con số trong bài báo. Điểm số tiêu chuẩn là kết quả thực nghiệm gốc do các tác giả báo cáo, chưa được chạy lại khi phát hành.