元タイトル:autotrust/AutoTrust-Decider-Pro-Vision-27B-v1.1
AutoTrust Labs が公開した 270 億パラメータのテキスト意思決定モデル v1.1(モデルカード上の名称は AutoTrust-JEV-27B v1.1)について、リポジトリに添付された上流の声明には、vLLM Semantic Router チームの d3(Decision 3.0)を基盤とし、ベースモデルとして Qwen3.8-27B を使用していることが明記されています。このモデルは自由形式の回答を生成しません:質問と候補選択肢が固定フォーマットで入力されると、モデルは選択肢コードに限定されたトークンを1つ出力するだけであり、エンジンが対数確率を各選択肢の確率に変換します。単一選択問題およびはい/いいえ問題のみをサポートし、テキスト入力のみを受け付けます。リポジトリ名には「Vision」が含まれていますが、モデルカードでは入力がテキストのみであることが明記されています。
なぜ重要か エージェントによるツール選択、意図分類、API呼び出しの要否判断などの決定において、選択肢コードのみを読み取り、長い推論を生成しないため
上昇スコア 112 · いいね数 1561 · ダウンロード数 151462
理由
- 作者は、Decision Index 0.3 の公開スイートにおいて公開指数 67.31(37 個のベンチマーク、140,178 個の採点対象リクエスト)を達成したと主張しており、5つの分野のうちツールおよび自動化が最高で、スキルスコアは 85.19 です
- 項目別スコアでは、CLINC150+OOS 意図分類、BFCL ツール選択、BANKING77 銀行意図分類のすべてが 93 を超えています。同表で JEV-27B と比較すると、多くのベンチマークでスコアが高いものの、MMLU-Pro、GPQA Diamond、HLE などの推論問題では依然として Jev 1.14 よりも低いです
- 評価結果とスコアのアーカイブはデータセット autotrust/jev-decision-index-results に保存されており、照合して再確認することが可能です
使い方
- pip install vllm==0.31.0 transformers==5.17.0 およびモデルカードに記載されている固定バージョンの StartLux-Decision パッケージをインストールし、モデルをダウンロードした後、リポジトリ内の serve_vllm.sh を使用してサービスを開始します(80GB の GPU では MAX_LEN=32768 に設定してください)
- vLLM エンドポイント自体は意思決定インターフェースではありません:リポジトリ内の jev_vllm_engine.py を通じて、jev_format.py のフォーマットに従って問題を構成し、選択肢コードの対数確率を取得して各選択肢の確率に変換する必要があります
- Decision Index 評価スイートをインストールした後、python -m decision_index run --engine jev_vllm_engine:JevVllmEngine を使用して評価を再実行できます。モデルカード内のダウンロードコマンドでは旧名称 AutoTrust-JEV-27B-v1.1 が使用されており、Hugging Face では本リポジトリへリダイレクトされます
リスク
- 成績は作者が NVIDIA B300 上でローカル実行した自己申告結果であり、モデルカードには依然としてリーダーボードの管理者による検証が必要であること、またプライベートまたは完全なスコアが報告されていないことが明記されています
- 作者は、これらのスコアがタスクのアダプテーション版から得られたものであり、実世界の信頼性を保証するものでも、確率の校正済みであることを示すものでもないことを指摘しています。高リスクの意思決定に使用する前に、独自データで検証してください。HLE のスコアはランダムレベルに近い値です
- 固定バージョンの vLLM と StartLux プラグイン(プロンプト全体の双方向読み取り、プレフィックスキャッシュの無効化など)に依存しており、推論フレームワークを変更すると結果が異なる可能性があります。本項目では実行されていません