大模型不擅长“该问什么问题才能最快弄清情况”。作者用信息增益当奖励，直接训练模型在选择下一个问题前的推理过程；生成模型独立于大模型自身的信念来设定，所以可以按自己选的模型优化期望信息增益。论文还系统比较了生成模型构造、奖励估计、假设空间、多步目标等设计选择。
点赞 5 · 代码星数 2
理由
- 作者称在二十问游戏上信息收集和任务表现都提升，以明显更低的计算成本超过推理时和训练时的贝叶斯实验设计基线，并能推广到没见过的类别。
- 从二十问训练迁移到真实临床问诊基准 Medi-Q 有正向效果，说明“主动收集信息”可以作为一种通用推理技能来学。
- 代码和训练用的动物 / Medi-Q 数据已在仓库 data/tq/ 下，训练、评测和 BED-LLM 基线都有一行命令。
用法
- 代码：github.com/anitakriz/ar-bed，pip install -r requirements.txt。
- 训练动物版：python scripts/run.py --config-name k1_expected；Medi-Q 三领域版：--config-name tq_mediq_3domain_k1_expected。
- 评测：python -m scripts.evaluate_tq_checkpoints k1_expected --checkpoint-root … --batched-full-game；加 --evaluate-base-model 测基座；基线用 scripts.evaluate_bed_llm_baseline。
风险
- README 很简略：没写基座模型是哪个、需要多少显存，也没放训练好的权重；重建数据或补缺的似然要用 utils/api_models.py 里的 API 凭证。
- 实验集中在二十问这一类游戏化任务，临床迁移只在一个基准上验证；README 未写许可证。
- 效果为作者报告，摘要没有具体数字。