Бенчмарк, имитирующий службу поддержки клиентов розничного банка в Индии: тестируемая модель выступает в роли банковского помощника, а другая модель играет роль клиента, который подает запросы на блокировку карты, открытие срочного вклада, расчет досрочного снятия средств и т. д. Помощник должен проверять записи, следовать банковским политикам и вызывать инструменты в правильном порядке. В отличие от бенчмарков, оценивающих только состояние базы данных в конце диалога, этот также проверяет, были ли выполнены все предписанные шаги и не были ли внесены изменения, не запрошенные клиентом.
Лайки 8 · Звезды в коде 6
Обоснование
- Выявлены типичные пробелы в оценке: авторы отмечают, что при просмотре только финальных записей каждый модель демонстрирует успешное выполнение 6.5–12.0% сессий, однако на самом деле пропускает обязательные шаги или выполняет лишние действия.
- Полнота масштаба и инженерной реализации: 1000 задач, 50 категорий сценариев, 33 банковских инструментов плюс один инструмент для перевода на оператора, 944 симулированных клиентов, 24 документов базы знаний; оценка не требует модели-судьи, время заморожено, а номера ссылок определяются начальным значением (seed), что обеспечивает побайтовое воспроизведение.
- В README приведены эталонные результаты шести открытых моделей (серии Qwen3.8-27B и Gemma 4, полный набор из 1000 задач, метрика pass@1), с разбивкой по последовательному выполнению, граничным случаям, минимальному использованию инструментов и контрольной группе.
- Устанавливается как команда tau2, поддерживает подключение к любому эндпоинту, совместимому с OpenAI, или к управляемым API, поддерживаемым litellm; код и данные распространяются под лицензией MIT, все данные синтетические.
Использование
- Установка: Python 3.12/3.13, pip install -r requirements.txt → python scripts/fetch_data.py (загрузка данных с Hugging Face NPCI/tau-indian-banking) → pip install --no-deps -e . (также поддерживается uv).
- Запуск: tau2 run --domain indian_banking --agent-llm openai/<тестируемая модель> --user-llm openai/<модель-симулятор клиента> --task-split-name base …; эталонные настройки: температура 0, максимум 8192 токенов вывода за ход, контекст не менее 32768.
- Оценка: python scripts/score.py data/simulations/<run>/results.json; для сравнения двух запусков добавьте --compare; просмотр диалогов через tau2 view.
- Для предварительного тестирования с меньшими затратами используйте набор lite (200 задач) или --num-tasks 5; в README особо отмечается, что запуск полного набора через платные API значительно дороже одного запроса.
Риски
- Результаты являются свойством комбинации «тестируемая модель + модель-симулятор клиента + разделение данных»; при смене модели-симулятора клиента результаты становятся несопоставимыми. В README указано, что при повторном запуске в той же конфигурации примерно 15–25% сессий меняют результат, а среднее значение колеблется в пределах ±1–2 баллов.
- Домен представляет собой вымышленный индийский банк и синтетические данные; возможность переноса выводов на другие отрасли или реальное обслуживание клиентов не проверена.
- Эталонные результаты предоставлены только для моделей с открытым исходным кодом, и все они используют одну и ту же модель-симулятор клиента (MiniMax-M2.7).