AutoTrust-JEV-27B v1.1: Mô hình ra quyết định chỉ trả lời câu hỏi trắc nghiệm

Mô hình ra quyết định văn bản với 270 tỷ tham số do AutoTrust Labs phát hành v1.1 (tên trong thẻ mô hình là AutoTrust-JEV-27B v1.1), tuyên bố nguồn gốc đi kèm kho lưu trữ ghi rõ nó được xây dựng dựa trên d3 (Decision 3.0) của nhóm vLLM Semantic Router, với nền tảng là Qwen3.8-27B. Nó không viết câu trả lời tự do: câu hỏi cùng các phương án lựa chọn được đưa vào theo định dạng cố định, mô hình chỉ xuất ra một token giới hạn trong mã phương án, sau đó công cụ chuyển đổi log-probability thành xác suất cho từng phương án; chỉ hỗ trợ câu hỏi trắc nghiệm một đáp án và câu hỏi Có / Không, chỉ chấp nhận đầu vào dạng văn bản. Tên kho lưu trữ có chữ Vision, nhưng thẻ mô hình ghi rõ đầu vào chỉ là văn bản.

Câu hỏi gốc: autotrust/AutoTrust-Decider-Pro-Vision-27B-v1.1

Mô hình ra quyết định văn bản với 270 tỷ tham số do AutoTrust Labs phát hành v1.1 (tên trong thẻ mô hình là AutoTrust-JEV-27B v1.1), tuyên bố nguồn gốc đi kèm kho lưu trữ ghi rõ nó được xây dựng dựa trên d3 (Decision 3.0) của nhóm vLLM Semantic Router, với nền tảng là Qwen3.8-27B. Nó không viết câu trả lời tự do: câu hỏi cùng các phương án lựa chọn được đưa vào theo định dạng cố định, mô hình chỉ xuất ra một token giới hạn trong mã phương án, sau đó công cụ chuyển đổi log-probability thành xác suất cho từng phương án; chỉ hỗ trợ câu hỏi trắc nghiệm một đáp án và câu hỏi Có / Không, chỉ chấp nhận đầu vào dạng văn bản. Tên kho lưu trữ có chữ Vision, nhưng thẻ mô hình ghi rõ đầu vào chỉ là văn bản.

Tại sao quan trọng Dùng cho việc lựa chọn công cụ, phân loại ý định, hay quyết định có gọi API hay không cho các tác nhân AI, chỉ xuất ra một mã phương án, không sinh ra suy luận dài dòng

Điểm tăng 112 · Lượt thích 1561 · Lượt tải 151462

Lý do

  • Tác giả tuyên bố đạt chỉ số công khai 67.31 trên bộ công cụ công khai Decision Index 0.3 (37 tiêu chuẩn, 140,178 yêu cầu có thể tính điểm), trong đó lĩnh vực Công cụ và Tự động hóa có điểm cao nhất trong năm lĩnh vực, đạt 85.19 điểm kỹ năng
  • Trong điểm số từng hạng mục, phân loại ý định CLINC150+OOS, lựa chọn công cụ BFCL, và phân loại ý định ngân hàng BANKING77 đều trên 93; so sánh trong cùng bảng với JEV-27B, hầu hết các tiêu chuẩn đều cao hơn, nhưng các câu hỏi suy luận như MMLU-Pro, GPQA Diamond, HLE vẫn thấp hơn Jev 1.14
  • Kết quả đánh giá và hồ sơ điểm số được lưu trữ trong bộ dữ liệu autotrust/jev-decision-index-results, có thể đối chiếu để kiểm tra lại

Cách sử dụng

  • Cài đặt pip install vllm==0.31.0 transformers==5.17.0 và gói StartLux-Decision phiên bản cố định được cung cấp trong thẻ mô hình, sau khi tải mô hình xuống thì dùng serve_vllm.sh trong kho lưu trữ để khởi động dịch vụ (đặt MAX_LEN=32768 cho card đồ họa 80GB)
  • Endpoint vLLM bản thân không phải là giao diện ra quyết định: cần sử dụng jev_vllm_engine.py trong kho lưu trữ để ghép câu hỏi theo định dạng của jev_format.py, lấy log-probability của mã phương án để chuyển đổi thành xác suất cho từng phương án
  • Sau khi cài đặt bộ công cụ đánh giá Decision Index, có thể chạy lại đánh giá bằng lệnh python -m decision_index run --engine jev_vllm_engine:JevVllmEngine; lệnh tải xuống trong thẻ mô hình sử dụng tên cũ AutoTrust-JEV-27B-v1.1, Hugging Face sẽ chuyển hướng đến kho lưu trữ này

Rủi ro

  • Kết quả là số liệu tự báo cáo do tác giả chạy cục bộ trên một card NVIDIA B300, thẻ mô hình ghi rõ vẫn đang chờ người bảo trì bảng xếp hạng xác minh, và không báo cáo điểm số riêng tư hoặc đầy đủ
  • Tác giả lưu ý rằng các điểm số này đến từ phiên bản điều chỉnh của nhiệm vụ, không đại diện cho độ tin cậy trong kịch bản thực tế, cũng không chứng minh xác suất đã được hiệu chuẩn; cần kiểm chứng bằng dữ liệu của riêng bạn trước khi sử dụng cho các quyết định rủi ro cao; điểm HLE gần với mức ngẫu nhiên
  • Phụ thuộc vào phiên bản cố định của vLLM và plugin StartLux (đọc hai chiều toàn bộ prompt, tắt bộ nhớ đệm tiền tố, v.v.), kết quả có thể khác nhau nếu thay đổi khung suy luận; mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất