Les grands modèles ne sont pas doués pour déterminer « quelles questions poser pour clarifier la situation le plus rapidement possible ». Les auteurs utilisent le gain d'information comme récompense et entraînent directement le processus de raisonnement du modèle avant la sélection de la question suivante ; le modèle générateur est défini indépendamment des croyances du grand modèle lui-même, ce qui permet d'optimiser le gain d'information espéré selon le modèle choisi. L'article compare également de manière systématique les choix de conception tels que la construction du modèle générateur, l'estimation de la récompense, l'espace d'hypothèses et les objectifs multi-étapes.
J'aime 5 · Étoiles du code 2
Raisons
- Les auteurs affirment une amélioration de la collecte d'informations et des performances sur la tâche du jeu des vingt questions, surpassant les lignes de base de la conception expérimentale bayésienne au moment de l'inférence et de l'entraînement avec un coût de calcul nettement inférieur, et généralisant à des catégories non vues.
- Le transfert de l'entraînement sur le jeu des vingt questions vers le benchmark clinique réel Medi-Q a un effet positif, indiquant que la « collecte active d'informations » peut être apprise comme une compétence de raisonnement générale.
- Le code et les données animales / Medi-Q utilisées pour l'entraînement sont disponibles dans le dépôt sous data/tq/, et une seule commande suffit pour l'entraînement, l'évaluation et les lignes de base BED-LLM.
Utilisation
- Code : github.com/anitakriz/ar-bed, pip install -r requirements.txt.
- Entraînement de la version animale : python scripts/run.py --config-name k1_expected ; version Medi-Q à trois domaines : --config-name tq_mediq_3domain_k1_expected.
- Évaluation : python -m scripts.evaluate_tq_checkpoints k1_expected --checkpoint-root … --batched-full-game ; ajoutez --evaluate-base-model pour tester le modèle de base ; les lignes de base utilisent scripts.evaluate_bed_llm_baseline.
Risques
- Le README est très succinct : il ne précise pas quel est le modèle de base, la quantité de mémoire vidéo nécessaire, ni ne fournit les poids entraînés ; la reconstruction des données ou le remplissage des vraisemblances manquantes nécessite des identifiants API dans utils/api_models.py.
- Les expériences se concentrent sur des tâches ludiques comme le jeu des vingt questions, et le transfert clinique n'est validé que sur un seul benchmark ; le README ne mentionne pas de licence.
- Les résultats sont rapportés par les auteurs, et le résumé ne contient pas de chiffres spécifiques.
Ouvrir · Code · Page du papier