Baseten傘下のBase LabsがQwen3.5-9Bを後訓練した「意思決定モデル」:状態(テキスト、画像付き可)と一連の質問を入力すると、共有プレフィックスのプリフィルを一度行うだけで、各質問の各選択肢に対して校正された確率を出力します。チケットのルーティング、分類、ガードレールの判断に使用できます。
上昇スコア 74 · いいね 75 · ダウンロード数 1344
理由
- 3種類の質問形式:はい/いいえ(P(yes)を返す)、単一選択(各選択肢の確率を返す)、順序付きスコアリング(各レベルの確率を返す)。訓練目標では交差エントロピーに加えてBrier校正項を追加し、「わからない」という選択肢も訓練しました。
- 公式によれば、Jev Decision Index 0.4で62.65を獲得し、15B以下のモデルでは最高、208個のモデル中では同率8位です。自社で再現したArtificial Analysis Decision Indexでは65.2となり、d1-ultra(65)と同等です。27Bの同系列モデルmammoth-1はより高いスコア(71.24)を記録しています。
- 訓練データは6.21M件の意思決定サンプルで、そのうち16.1%は安全性と回答拒否に関するものです。言語部分はフルファインチューニングし、視覚エンコーダは凍結しました。MITライセンスで、以前の号では収録されていませんでした。
使い方
- セルフホスト:
hf download baselabs/elephant-1 --local-dir elephant-1 && bash elephant-1/setup.shを実行し、固定バージョンのOneJevサービスランタイム(serve.patchを適用)をインストールします。CUDA GPUとpytorch/pytorch:2.8.0-cuda12.8-cudnn9-develイメージが必要です。 - 呼び出し:
DecisionEngine("baselabs/elephant-1", device="cuda:0").decide(SystemOneRequest(state=テキスト, questions={...}))。questions内の各質問にはtype(noul / choice / score)とinstructionsを指定し、choiceとscoreの場合はさらにcriteriaを指定する必要があります。
リスク
- 最大長は16,384トークンで、超えるリクエストは切り詰められるのではなく直接拒否されます。言語ラベルは英語のみです。
- 公式のBaseten無料API週間は10月27日に終了しました。2つの指数のうち1つは公式が独自に再現したものです。
- 標準的なTransformers推論ではなく、リポジトリ内の
setup.shとパッチを実行する必要があります。