Gốc: Axion1-0/Axion-1.0-35B
Axion 1.0 là công thức mô hình nền tảng tác nhân mã nguồn mở do các nhóm từ Đại học Duke, ByteDance và những đơn vị khác đề xuất: trước tiên thực hiện SFT (học suy luận) trên các bài toán khoa học khó, sau đó thực hiện SFT (học điều tra) trên các tác vụ có thể kiểm chứng được đòi hỏi tra cứu tài liệu và sử dụng công cụ, cuối cùng thực hiện học tăng cường trên các quỹ đạo của tác nhân, với dữ liệu SFT khoảng 1.8 nghìn mẫu. Kho lưu trữ này là điểm kiểm tra tái tạo 35B được huấn luyện theo công thức này (tổng tham số khoảng 350 trăm triệu, tham số kích hoạt khoảng 30 trăm triệu, mô hình nền là Qwen3.6-35B-A3B), tác giả cho biết đạt 52.8 trên HLE, 60.4 trên SEAL-0 và 85.0 trên các bài toán Olympic FrontierScience, gần với các con số 52.2, 62.2 và 86.0 được báo cáo trong bài báo.
Tại sao quan trọng Quá trình huấn luyện chỉ sử dụng hai giai đoạn SFT kết hợp với học tăng cường, dữ liệu, mã nguồn và trọng số tái tạo đều được công khai, phù hợp cho những người nghiên cứu công thức huấn luyện tác nhân để đối chiếu
Điểm tăng 72 · Lượt thích 73 · Lượt tải 1315
Lý do
- Hướng tới bối cảnh nghiên cứu khoa học: suy luận khoa học, truy xuất thông tin và giải quyết vấn đề kèm công cụ, thẻ mô hình liệt kê song song kết quả của phiên bản trong bài báo và phiên bản tái tạo
- Bộ dữ liệu huấn luyện và mã nguồn huấn luyện đầy đủ (sinh và lọc dữ liệu, SFT hai giai đoạn, học tăng cường bất đồng bộ, đánh giá) đều được công khai trên GitHub bytedance/axion1_0, giấy phép Apache-2.0
Cách sử dụng
- vllm serve Axion1-0/Axion-1.0-35B, ví dụ sử dụng 8 GPU với song song tensor, ngữ cảnh 131072, bật --reasoning-parser qwen3 và --tool-call-parser qwen3_coder
- Để chạy các tác vụ tác nhân có sử dụng công cụ, cần cấu hình thêm một khung chạy lệnh gọi công cụ, xem hướng dẫn suy luận trong kho GitHub
Rủi ro
- GitHub ghi rõ đây là phiên bản tái tạo cộng đồng, không phải điểm kiểm tra chính thức của Axion
- Điểm số của các mô hình khác trong bảng so sánh chủ yếu được lấy từ các báo cáo chính thức tương ứng, thiết lập đánh giá không hoàn toàn nhất quán
- Mục này chưa được chạy thử, hiệu quả thực tế lấy theo thẻ mô hình làm chuẩn