AutoTrust-JEV-27B v1.1: 선택형 질문에만 응답하는 의사결정 모델

AutoTrust Labs에서 공개한 270억 파라미터 텍스트 의사결정 모델 v1.1(모델 카드의 명칭은 AutoTrust-JEV-27B v1.1)은 저장소에 포함된 상류(upstream) 선언문에 따르면 vLLM Semantic Router 팀의 d3(Decision 3.0)을 기반으로 하며, 기본 모델은 Qwen3.8-27B입니다. 이 모델은 자유 형식 답변을 생성하지 않습니다: 질문과 후보 선택지가 고정된 형식으로 입력되면, 모델은 선택지 코드에 해당하는 단일 토큰만 출력하며, 엔진은 이를 로그 확률(log probability)을 각 선택지의 확률로 변환합니다. 단일 선택형 질문과 예/아니오 질문만 지원하며, 텍스트 입력만 허용합니다. 저장소 이름에 Vision이 포함되어 있지만, 모델 카드에는 입력이 텍스트만이라고 명시되어 있습니다.

원제: autotrust/AutoTrust-Decider-Pro-Vision-27B-v1.1

AutoTrust Labs에서 공개한 270억 파라미터 텍스트 의사결정 모델 v1.1(모델 카드의 명칭은 AutoTrust-JEV-27B v1.1)은 저장소에 포함된 상류(upstream) 선언문에 따르면 vLLM Semantic Router 팀의 d3(Decision 3.0)을 기반으로 하며, 기본 모델은 Qwen3.8-27B입니다. 이 모델은 자유 형식 답변을 생성하지 않습니다: 질문과 후보 선택지가 고정된 형식으로 입력되면, 모델은 선택지 코드에 해당하는 단일 토큰만 출력하며, 엔진은 이를 로그 확률(log probability)을 각 선택지의 확률로 변환합니다. 단일 선택형 질문과 예/아니오 질문만 지원하며, 텍스트 입력만 허용합니다. 저장소 이름에 Vision이 포함되어 있지만, 모델 카드에는 입력이 텍스트만이라고 명시되어 있습니다.

중요성 에이전트의 도구 선택, 의도 분류, API 호출 여부 판단 등에서 긴 추론 과정 없이 선택지 코드만 출력

상승 점수 112 · 좋아요 1561 · 다운로드 수 151462

이유

  • 저자는 Decision Index 0.3 공개 키트에서 공개 지수 67.31(37개 벤치마크, 140,178개 채점 가능한 요청)을 달성했다고 주장하며, 5개 영역 중 도구 및 자동화 영역이 85.19 점수로 가장 높음
  • 세부 점수에서 CLINC150+OOS 의도 분류, BFCL 도구 선택, BANKING77 은행 의도 분류 모두 93 이상을 기록함. 같은 표에서 JEV-27B와 비교할 때 대부분의 벤치마크에서 더 높은 점수를 보였으나, MMLU-Pro, GPQA Diamond, HLE 등 추론 관련 질문에서는 Jev 1.14보다 낮음
  • 평가 결과 및 점수 아카이브는 데이터셋 autotrust/jev-decision-index-results에 저장되어 있어 교차 검증이 가능함

사용법

  • pip install vllm==0.31.0 transformers==5.17.0 및 모델 카드에 명시된 고정 버전의 StartLux-Decision 패키지를 설치하고, 모델 다운로드 후 저장소의 serve_vllm.sh 스크립트를 사용하여 서비스를 실행함(80GB GPU의 경우 MAX_LEN=32768로 설정)
  • vLLM 엔드포인트 자체는 의사결정 인터페이스가 아님: 저장소의 jev_vllm_engine.py를 통해 jev_format.py 형식에 따라 질문을 구성하고, 선택지 코드의 로그 확률을 각 선택지의 확률로 변환해야 함
  • Decision Index 평가 키트 설치 후, python -m decision_index run --engine jev_vllm_engine:JevVllmEngine 명령어로 평가를 재실행할 수 있음. 모델 카드의 다운로드 명령어는 이전 이름인 AutoTrust-JEV-27B-v1.1을 사용하며, Hugging Face에서 이 저장소로 리디렉션됨

리스크

  • 점수는 저자가 NVIDIA B300에서 로컬로 실행한 자체 보고 결과이며, 모델 카드에는 여전히 리더보드 유지보수자의 검증이 필요하고 비공개 또는 전체 점수가 보고되지 않았다고 명시되어 있음
  • 저자는 이러한 점수가 작업 변형판에서 나온 것으로, 실제 시나리오의 신뢰성을 보장하지 않으며 확률의 보정 여부를 나타내지 않는다고 경고함. 고위험 의사결정에 사용하려면 자체 데이터로 검증해야 하며, HLE 점수는 무작위 수준에 가까움
  • 고정 버전의 vLLM 및 StartLux 플러그인(전체 프롬프트 양방향 읽기, 프리픽스 캐싱 비활성화 등)에 의존하므로, 추론 프레임워크를 변경하면 결과가 달라질 수 있음. 본 항목은 실행되지 않음

열기

Hugging Face Trending

최신 AI 소식 보기