Interactive Visual Gym: Đánh giá trợ lý thị giác bằng vòng lặp người dùng mô phỏng

Trợ lý thị giác đồng hành cùng người dùng trong thời gian thực, câu trả lời của nó sẽ thay đổi hành vi tiếp theo của người dùng và kết quả nhiệm vụ, điều mà các chuẩn đánh giá ngoại tuyến dạng phát lại không thể đo lường được. Interactive Visual Gym đồng thời mô phỏng môi trường nhiệm vụ có thể thực thi và người dùng con người: ba trình mô phỏng lần lượt bao gồm nấu ăn (CookSim), việc nhà (VH-Home) và cài đặt điện thoại (ScreenSim); người dùng mô phỏng hành động theo nhân vật được thiết lập, sẽ chèn vào các sự cố ngoài dự kiến như lỗi thao tác, đặt câu hỏi, thay đổi kế hoạch... theo kịch bản định sẵn. IVG-Bench dựa trên nền tảng này có 315 kịch bản tương tác. Các tác giả cho biết ngay cả Gemini 4 Argon, mô hình có hiệu suất tốt nhất, cũng chỉ hoàn thành 53.4% nhiệm vụ trong giới hạn thời gian, cơ sở thực tế và hướng dẫn có thể hành động còn yếu, khi tính cả độ trễ phản hồi thì thường không kịp ngăn chặn lỗi; trong nghiên cứu với con người, tỷ lệ nhất quán giữa chỉ số chất lượng tương tác và sở thích của người tham gia là 78.5%.

Tiêu đề gốc: Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds

Trợ lý thị giác đồng hành cùng người dùng trong thời gian thực, câu trả lời của nó sẽ thay đổi hành vi tiếp theo của người dùng và kết quả nhiệm vụ, điều mà các chuẩn đánh giá ngoại tuyến dạng phát lại không thể đo lường được. Interactive Visual Gym đồng thời mô phỏng môi trường nhiệm vụ có thể thực thi và người dùng con người: ba trình mô phỏng lần lượt bao gồm nấu ăn (CookSim), việc nhà (VH-Home) và cài đặt điện thoại (ScreenSim); người dùng mô phỏng hành động theo nhân vật được thiết lập, sẽ chèn vào các sự cố ngoài dự kiến như lỗi thao tác, đặt câu hỏi, thay đổi kế hoạch... theo kịch bản định sẵn. IVG-Bench dựa trên nền tảng này có 315 kịch bản tương tác. Các tác giả cho biết ngay cả Gemini 4 Argon, mô hình có hiệu suất tốt nhất, cũng chỉ hoàn thành 53.4% nhiệm vụ trong giới hạn thời gian, cơ sở thực tế và hướng dẫn có thể hành động còn yếu, khi tính cả độ trễ phản hồi thì thường không kịp ngăn chặn lỗi; trong nghiên cứu với con người, tỷ lệ nhất quán giữa chỉ số chất lượng tương tác và sở thích của người tham gia là 78.5%.

Tại sao quan trọng Các bài kiểm tra ngoại tuyến dạng phát lại không thể đo lường được cách lời nói của trợ lý sẽ thay đổi hành động tiếp theo của người dùng như thế nào, đánh giá vòng kín đưa tác động này vào điểm số

Lượt thích 13 · Số sao mã nguồn 8

Lý do

  • Vừa có thể dùng để đánh giá vừa có thể dùng để huấn luyện: Các tác giả đã thực hiện một khái niệm chứng minh (proof-of-concept) về huấn luyện vòng kín trên Qwen3.5-4B trong môi trường nấu ăn bằng GRPO, tỷ lệ hoàn thành nhiệm vụ và chất lượng tương tác đều được cải thiện
  • Người dùng có thể điều chỉnh mức độ kỹ năng, mức độ tin tưởng vào AI, tốc độ thực hiện và mức độ sẵn sàng bị gián đoạn; có bảng xếp hạng công khai, có thể gửi kết quả mô hình thông qua PR

Cách sử dụng

  • Mã nguồn: https://github.com/SalesforceAIResearch/Interactive-Visual-Gym(Apache-2.0)
  • Ba môi trường được cài đặt độc lập, chạy một lượt theo Quickstart của từng môi trường; quy trình đánh giá là xem trường hợp sử dụng → chạy lượt → xem nhật ký → chấm điểm → chạy toàn bộ chuẩn đánh giá

Rủi ro

  • Hành vi của người dùng mô phỏng vẫn còn khoảng cách so với người thật; một phần chất lượng tương tác được chấm điểm bởi mô hình
  • Các trình mô phỏng bên ngoài và trọng số mô hình có giấy phép riêng; kết quả do tác giả báo cáo, mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo

Hugging Face Daily Papers

Xem tin AI mới nhất