Un benchmark simulant le service client d'une banque de détail indienne : le modèle testé joue le rôle de l'assistant bancaire, tandis qu'un autre modèle joue le client qui formule des demandes telles que le blocage de carte, l'ouverture d'un dépôt à terme ou une estimation de rachat anticipé. L'assistant doit consulter les enregistrements, suivre les politiques bancaires et appeler les outils dans l'ordre. Contrairement aux benchmarks qui ne regardent que l'état de la base de données à la fin de la conversation, celui-ci vérifie également si chaque étape prescrite a été effectuée et si des modifications non demandées par le client ont été réalisées.
J'aime 8 · Étoiles du code 6
Raison
- Exploite une faille courante dans les évaluations : l'auteur affirme que, lorsqu'on ne regarde que le résultat final, chaque modèle réussit 6.5–12.0% des sessions, mais en réalité il saute des étapes obligatoires ou effectue des modifications superflues.
- L'échelle et l'ingénierie sont complètes : 1000 tâches, 50 types de scénarios, 33 outils bancaires plus un outil de transfert vers un agent humain, 24 clients simulés, 944 documents de base de connaissances ; la notation ne nécessite pas de modèle jugeant, l'horloge est figée et les numéros de citation sont déterminés par une graine, permettant une relecture octet par octet.
- Le README fournit les scores de référence pour six modèles open source (Qwen3.8-27B et la série Gemma 4, sur l'ensemble des 1000 questions avec pass@1), classés selon quatre catégories : exécution séquentielle, cas limites, utilisation minimale d'outils et comparaison.
- S'installe directement comme commande tau2, se connecte à n'importe quel point de terminaison compatible OpenAI ou aux API hébergées prises en charge par litellm ; le code et les données sont sous licence MIT, toutes les données étant synthétiques.
Utilisation
- Installation : Python 3.12/3.13, pip install -r requirements.txt → python scripts/fetch_data.py (récupère les données depuis Hugging Face NPCI/tau-indian-banking) → pip install --no-deps -e . (uv est également pris en charge).
- Exécution : tau2 run --domain indian_banking --agent-llm openai/<modèle testé> --user-llm openai/<modèle simulateur client> --task-split-name base … ; configuration de référence : température 0, maximum 8192 tokens de sortie par tour, contexte d'au moins 32768.
- Notation : python scripts/score.py data/simulations/<run>/results.json ; pour comparer deux exécutions, ajoutez --compare ; tau2 view permet de parcourir les conversations.
- Pour tester à moindre coût, utilisez lite (200 questions) ou --num-tasks 5. Le README avertit spécifiquement que l'exécution complète via une API payante coûte bien plus cher qu'une seule requête.
Risques
- Le score est une propriété globale du « modèle testé + modèle simulateur client + partition des données » ; changer le modèle simulateur client rend les résultats incomparables. Le README indique qu'en répétant l'exécution avec la même configuration, environ 15–25% des sessions voient leur résultat s'inverser, avec une variation moyenne de ±1–2 points.
- Le domaine est une banque indienne fictive avec des données synthétiques ; la transférabilité des conclusions à d'autres secteurs ou au service client réel n'a pas été vérifiée.
- Les scores de référence ne concernent que des modèles open source, et tous utilisent le même modèle simulateur client (MiniMax-M2.7).