Большие языковые модели плохо справляются с задачей «какие вопросы задать, чтобы быстрее всего прояснить ситуацию». Авторы используют информационную ценность в качестве награды, напрямую обучая процесс рассуждения модели перед выбором следующего вопроса; генеративная модель настраивается независимо от собственных убеждений LLM, что позволяет оптимизировать ожидаемую информационную ценность согласно выбранной модели. В статье также систематически сравниваются такие проектные решения, как конструкция генеративной модели, оценка награды, пространство гипотез и многошаговые цели.
Лайки 5 · Звёзды на GitHub 2
Обоснование
- Авторы заявляют об улучшении сбора информации и выполнения задач в игре «Двадцать вопросов», превосходя байесовские базовые методы экспериментального дизайна как на этапе вывода, так и на этапе обучения при значительно меньших вычислительных затратах, а также демонстрируя способность к обобщению на незнакомые категории.
- Перенос навыков с обучения в игре «Двадцать вопросов» на реальный клинический диагностический бенчмарк Medi-Q показывает положительные результаты, что свидетельствует о возможности изучения «активного сбора информации» как универсального навыка рассуждения.
- Код и данные для обучения (игра «Двадцать вопросов» / Medi-Q) доступны в репозитории в директории data/tq/; для обучения, оценки и запуска базовых методов BED-LLM предусмотрены однострочные команды.
Использование
- Код: github.com/anitakriz/ar-bed, pip install -r requirements.txt.
- Обучение для игры «Двадцать вопросов»: python scripts/run.py --config-name k1_expected; версия для Medi-Q с тремя доменами: --config-name tq_mediq_3domain_k1_expected.
- Оценка: python -m scripts.evaluate_tq_checkpoints k1_expected --checkpoint-root … --batched-full-game; добавьте --evaluate-base-model для тестирования базовой модели; для базовых методов используйте scripts.evaluate_bed_llm_baseline.
Риски
- README очень краток: не указано, какая базовая модель используется, сколько требуется видеопамяти, и отсутствуют предобученные веса; для восстановления данных или заполнения недостающих правдоподобий требуются API-ключи из utils/api_models.py.
- Эксперименты сосредоточены на игровых задачах типа «Двадцать вопросов», а перенос в клиническую сферу проверен только на одном бенчмарке; в README не указана лицензия.
- Результаты представлены со слов авторов, в аннотации отсутствуют конкретные числовые показатели.