Một bộ chuẩn đánh giá tác nhân mô phỏng dịch vụ khách hàng ngân hàng bán lẻ tại Ấn Độ: mô hình được kiểm tra đóng vai trò trợ lý ngân hàng, trong khi một mô hình khác đóng vai trò khách hàng đưa ra các yêu cầu như báo mất thẻ, mở sổ tiết kiệm kỳ hạn, báo giá rút trước hạn, v.v. Trợ lý phải tra cứu hồ sơ, tuân thủ chính sách ngân hàng và gọi các công cụ theo đúng thứ tự. Khác với các bộ chuẩn chỉ xem xét trạng thái cơ sở dữ liệu khi kết thúc cuộc hội thoại, bộ chuẩn này còn kiểm tra xem từng bước quy định có được thực hiện hay không và liệu có thực hiện những thay đổi mà khách hàng không yêu cầu hay không.
Lượt thích 8 · Số sao mã nguồn 6
Lý do
- Nắm bắt được những lỗ hổng trong các bài đánh giá phổ biến: tác giả cho biết khi chỉ xem xét bản ghi cuối cùng, mỗi mô hình đều có 6.5–12.0% phiên được đánh dấu là thành công, nhưng thực tế đã bỏ qua các bước bắt buộc hoặc thực hiện những thay đổi thừa.
- Quy mô và kỹ thuật đều hoàn chỉnh: 1000 nhiệm vụ, 50 loại kịch bản, 33 công cụ ngân hàng cùng một công cụ chuyển sang nhân viên hỗ trợ, 944 khách hàng mô phỏng, 24 tài liệu cơ sở kiến thức; việc chấm điểm không cần mô hình đánh giá, đồng hồ bị đóng băng, số tham chiếu được xác định bởi seed, có thể phát lại từng byte.
- README cung cấp điểm tham chiếu của sáu mô hình mã nguồn mở (dòng Qwen3.8-27B và Gemma 4, toàn bộ 1000 câu hỏi với pass@1), và được phân chia theo bốn loại: thực thi tuần tự, trường hợp biên, sử dụng ít công cụ và đối chiếu.
- Cài đặt trực tiếp thành lệnh tau2, kết nối với bất kỳ endpoint tương thích OpenAI nào hoặc API được lưu trữ hỗ trợ bởi litellm; mã nguồn và dữ liệu được cấp phép MIT, dữ liệu hoàn toàn tổng hợp.
Cách sử dụng
- Cài đặt: Python 3.12/3.13, pip install -r requirements.txt → python scripts/fetch_data.py (tải dữ liệu từ Hugging Face NPCI/tau-indian-banking) → pip install --no-deps -e . (cũng hỗ trợ uv).
- Chạy: tau2 run --domain indian_banking --agent-llm openai/<mô hình được kiểm tra> --user-llm openai/<mô hình mô phỏng khách hàng> --task-split-name base …; thiết lập tham khảo gồm nhiệt độ 0, tối đa 8192 token đầu ra mỗi lượt, ngữ cảnh ít nhất 32768.
- Chấm điểm: python scripts/score.py data/simulations/<run>/results.json; thêm --compare để so sánh hai lần chạy; tau2 view để xem các cuộc hội thoại.
- Để tiết kiệm chi phí khi thử nghiệm, hãy dùng phiên bản lite (200 câu hỏi) hoặc --num-tasks 5; README đặc biệt lưu ý rằng chi phí chạy toàn bộ bằng API trả phí cao hơn nhiều so với một lần yêu cầu đơn lẻ.
Rủi ro
- Điểm số là thuộc tính tổng thể của “mô hình được kiểm tra + mô hình mô phỏng khách hàng + tập dữ liệu”, nên không thể so sánh nếu thay đổi mô hình mô phỏng khách hàng; README cho biết khi chạy lại với cùng cấu hình, khoảng 15–25% các phiên hội thoại sẽ bị đảo ngược kết quả, và độ biến động trung bình là khoảng ±1–2 điểm.
- Lĩnh vực này là ngân hàng Ấn Độ hư cấu và dữ liệu tổng hợp, chưa được xác minh xem các kết luận có thể chuyển giao sang các ngành khác hoặc dịch vụ khách hàng thực tế hay không.
- Kết quả tham khảo chỉ bao gồm các mô hình mã nguồn mở, và tất cả đều sử dụng cùng một mô hình mô phỏng khách hàng (MiniMax-M2.7).