元記事:HAL-X-AI/THX-02
HAL-X-AI の「思考型意思決定モデル」:状態(メッセージ、チケット、ドキュメント、JSON レコード、エージェントの軌跡、写真やグラフ)と自然言語で記述された質問を入力すると、各質問の各選択肢に対して確率を出力し、自由テキストは生成しません。質問は単一選択(最大 255 個の選択肢)、真偽判定、順序付きスコアリングの3種類に分類されます。1回のリクエストで最大 4 枚の画像を含められます。モデルは 4.5B パラメータを持ち、さらに 60M の思考アダプターがあります:直接回答の最高確率が閾値を下回り、かつ内部判断に推論が必要な場合、数十語の推論メモを先に記述してから決定します。著者によると、思考なしの場合はリクエストごとの中央値遅延が 50 ミリ秒、自動思考時は 79 ミリ秒(RTX PRO 6000 1枚使用)で、Decision Index 0.3 の公開セットのサンプル上で 65.06 を達成しました。
なぜ重要か チケットの振り分け、コンテンツモデレーション、UI操作といった判断において、新しいタスクのために再訓練する必要がなく、ラベルをリクエスト内に直接記述できます
上昇スコア 48 · いいね 50 · ダウンロード数 2134
理由
- カスタマーサポートのチケット多言語振り分け、スクリーンショットを見てボタンを段階的にクリックして航空券を予約する操作、画面を見ながらスネークゲームをプレイするといった用途を実演しており、これらタスクのために専用の訓練は行っていません
- 依存関係のない PyPI クライアントとセルフホスト型サーバーを提供し、バッチインターフェースをサポートしています。Android の Termux 上で API を呼び出せ、メモリが十分なスマートフォンではローカル実行も可能です
- 重みは Apache-2.0 ライセンスです
使い方
- pip install "thx02[local]" を実行後、from thx02 import THX02; THX02.load("HAL-X-AI/THX-02") とし、model.decide(状態, 質問辞書) を使用して各選択肢の確率を取得します
- セルフホスト型サーバー:thx02-serve --model . --port 8200 で起動し、リクエストは /v1/decide または /v1/decide/batch に送信します。think を "auto" に設定すると自動思考が有効になります
リスク
- 成績は著者が 6,018 件のサンプルリクエストで自己測定したものであり、完全な公開セットやプライベートリーダーボードでのテストはまだ実施されていません。比較行内の他のモデルのスコアは、それぞれの公開結果から引用されています
- 思考機能には別途 GPU 推論サーバーが必要であり、CPU やスマートフォンでは直接回答のみ可能です
- 著者は、確率は訓練分布上でのみ校正されるため、大きく異なるドメインに移す場合は数百件の注釈付きサンプルで検証する必要があると注意を促しています
- この項目は実行されておらず、効果はモデルカードを参照してください