Nguồn gốc: BAAI/AREX-2
Mô hình tác nhân dài hạn với 270 tỷ tham số của Viện Nghiên cứu Trí tuệ Nhân tạo Bắc Kinh (BAAI), dựa trên nền tảng Qwen3.8-27B (mô hình đặc, đa phương thức), với cửa sổ ngữ cảnh 262,144 token. Trong quá trình kiểm thử, mô hình cải tiến một giải pháp qua nhiều vòng lặp: đề xuất, đo lường, phản tư và sửa đổi; nó đọc điểm số, nhật ký, thông báo lỗi và thời gian chạy để quyết định bước tiếp theo cần thay đổi. Dữ liệu huấn luyện bao gồm các tác vụ kỹ thuật máy học và lập trình thuật toán có thể xác minh kết quả trực tiếp, cùng với dữ liệu nghiên cứu chuyên sâu AREX hiện có; phía chính thức cho biết khả năng tự cải tiến này đã được chuyển giao sang lĩnh vực nghiên cứu chuyên sâu mà không cần bổ sung thêm các chuỗi tìm kiếm. Kết quả chính thức: 70.7 trên đường đua tác nhân Frontier-CS, tỷ lệ huy chương MLE-Lite đạt 81.8, BrowseComp 84.0, GAIA 92.2, DeepSearchQA 93.8 và tập con văn bản HLE 52.6.
Tại sao quan trọng Biến số vòng lặp kiểm thử được cung cấp thêm thành các giải pháp tốt hơn, khả năng học được từ lập trình và kỹ thuật máy học còn có thể chuyển giao sang nghiên cứu chuyên sâu
Điểm tăng 50 · Lượt thích 205 · Lượt tải xuống 2918
Lý do
- Hướng tới các tác vụ đòi hỏi thử sai qua nhiều vòng lặp: kỹ thuật máy học, lập trình thi đấu thuật toán và nghiên cứu chuyên sâu có sử dụng công cụ
- Trong bảng xếp hạng chính thức, trong số các mô hình mở dưới 40B, BrowseComp, GAIA và DeepSearchQA đều nằm ở nhóm dẫn đầu, còn MLE-Lite cao hơn các mô hình đóng mã nguồn trong bảng
- Kho GitHub VectorSpaceLab/AREX-2 cung cấp bộ chạy đánh giá và định nghĩa tập dữ liệu cho sáu đường đua kiểm thử, cho phép tái kiểm tra với cùng thiết lập
Cách sử dụng
- transformers: AutoModelForMultimodalLM.from_pretrained("BAAI/AREX-2", dtype=torch.bfloat16, device_map="auto"), yêu cầu phiên bản transformers mới hỗ trợ Qwen3.8
- Tái kiểm tra: sau khi chạy pip install -e '.[research]', sử dụng python3 evaluate.py BrowseComp --n 10 để chỉ định điểm cuối mô hình và điểm cuối mô hình đánh giá rồi chạy
Rủi ro
- Thẻ mô hình chỉ cung cấp ví dụ hội thoại với transformers, việc chạy toàn bộ quy trình cải tiến đa vòng hoặc nghiên cứu chuyên sâu đòi hỏi người dùng tự xây dựng công cụ và môi trường thực thi
- Kết quả đến từ bài báo chính thức và thẻ mô hình, điểm số của một số mô hình so sánh được lấy từ các báo cáo riêng; cột HLE có nơi là tập đầy đủ, có nơi chỉ là tập con văn bản
- Mục này chưa được chạy thử nghiệm, hiệu năng thực tế hãy xem theo thẻ mô hình