대형 언어 모델은 '상황을 가장 빠르게 파악하기 위해 어떤 질문을 해야 하는지'를 결정하는 데 능숙하지 않습니다. 저자들은 정보 이득을 보상 신호로 사용하여, 모델이 다음 질문을 선택하기 전의 추론 과정을 직접 학습시킵니다. 생성 모델은 대형 언어 모델 자체의 신념과 독립적으로 설정되므로, 모델이 선택한 모델에 따라 기대 정보 이득을 최적화할 수 있습니다. 이 논문은 생성 모델 구성, 보상 추정, 가설 공간, 다단계 목표 등 다양한 설계 선택지를 체계적으로 비교합니다.
좋아요 5 · 코드 스타 수 2
이유
- 저자들은 스무 고개 게임에서 정보 수집 및 작업 수행 능력이 모두 향상되었으며, 추론 시 및 학습 시 베이지안 실험 설계(BED) 기준선보다 현저히 낮은 계산 비용으로 이를 능가하고, 본 적 없는 범주로도 일반화할 수 있다고 보고합니다.
- 스무 고개 게임에서 학습한 내용을 실제 임상 문진 벤치마크인 Medi-Q로 전이했을 때 긍정적인 효과가 나타났으며, 이는 '능동적 정보 수집'이 일반적인 추론 기술로 학습될 수 있음을 시사합니다.
- 코드와 학습에 사용된 동물/Medi-Q 데이터는 저장소의 data/tq/ 폴더에 있으며, 학습, 평가 및 BED-LLM 기준선 실행은 모두 한 줄의 명령어로 가능합니다.
사용법
- 코드: github.com/anitakriz/ar-bed, pip install -r requirements.txt.
- 동물 버전 학습: python scripts/run.py --config-name k1_expected; Medi-Q 3개 도메인 버전: --config-name tq_mediq_3domain_k1_expected.
- 평가: python -m scripts.evaluate_tq_checkpoints k1_expected --checkpoint-root … --batched-full-game; 기본 모델 테스트를 위해 --evaluate-base-model 추가; 기준선은 scripts.evaluate_bed_llm_baseline 사용.
리스크
- README가 매우 간략합니다: 기본 모델이 무엇인지, 필요한 VRAM 양은 얼마인지 명시되지 않았으며, 학습된 가중치도 제공되지 않았습니다. 데이터를 재구성하거나 누락된 우도(likelihood)를 계산하려면 utils/api_models.py에 있는 API 자격 증명이 필요합니다.
- 실험이 스무 고개와 같은 게임화 작업에 집중되어 있으며, 임상 전이는 하나의 벤치마크에서만 검증되었습니다. README에 라이선스 정보가 명시되지 않았습니다.
- 성능 결과는 저자들이 보고한 것이며, 초록에는 구체적인 수치가 포함되어 있지 않습니다.