大規模言語モデルは、「状況を最も速やかに把握するためにどのような質問をすべきか」という点で苦手意識を持っています。著者らは情報ゲインを報酬として用い、次の質問を選択する前の推論プロセスを直接モデルに訓練させました。生成モデルは大規模言語モデル自身の信念とは独立して設定されるため、選択したモデルに基づいて期待情報ゲインを最適化することができます。本論文では、生成モデルの構築、報酬推定、仮説空間、多段目標などの設計選択肢についても体系的に比較検討しています。
いいね 5 · コードスター数 2
理由
- 著者らは、20の質問ゲームにおいて情報収集とタスクパフォーマンスの両方が向上し、推論時および訓練時のベイズ実験設計ベースラインを明確に低い計算コストで上回り、未知のカテゴリにも汎化できると述べています。
- 20の質問ゲームでの訓練から実際の臨床問診ベンチマークであるMedi-Qへの転移は正の効果を示しており、「積極的な情報収集」が汎用的な推論スキルとして学習可能であることを示唆しています。
- コードおよび訓練に使用された動物版/Medi-Qデータはリポジトリの data/tq/ 配下にあり、訓練、評価、BED-LLMベースラインはいずれもワンコマンドで実行可能です。
使い方
- コード：github.com/anitakriz/ar-bed、pip install -r requirements.txt。
- 動物版の訓練：python scripts/run.py --config-name k1_expected；Medi-Q 3領域版：--config-name tq_mediq_3domain_k1_expected。
- 評価：python -m scripts.evaluate_tq_checkpoints k1_expected --checkpoint-root … --batched-full-game；ベースモデルをテストするには --evaluate-base-model を追加；ベースラインには scripts.evaluate_bed_llm_baseline を使用。
リスク
- READMEは簡素です：ベースモデルが何か、必要なVRAMの量、訓練済み重みファイルについては記載されておらず、データの再構築や欠損尤度の補完には utils/api_models.py 内のAPI認証情報が必要です。
- 実験は20の質問ゲームのようなゲーミフィケーションされたタスクに集中しており、臨床への転移は1つのベンチマークでのみ検証されています。READMEにはライセンス情報が記載されていません。
- 効果は著者による報告であり、アブストラクトには具体的な数値が含まれていません。