UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents

电商场景的交互式用户模拟基准：用真实用户的长会话轨迹（64,729 条会话、11,010 名用户、566,102 件商品、13 种动作）搭成可交互环境，让模拟器在逐屏浏览、点击、加购中复现用户行为，并能和一次线上 A/B 实验的结果做离线对照；作者还提出在线轨迹蒸馏 OPTD 来提高模拟器的保真度。 点赞 47 · 代码星数 4 **理由** - 做推荐或购物智能体时，用户模拟器决定了离线评估可不可信；这里给出五级评估，从输出是否合法、单步决策一直到序列行为、个性化和最终业务结果。 - 作者称 OPTD 在其评估协议下整体保真度最高，离线模拟最接近线上策略的实际效果。 - 环境有 Python 接口（ShoppingSession 的 reset / render / step），可以直接接自己的智能体。 **用法** - 代码：github.com/RecGPT-Team/UserArena；Python 3.12 虚拟环境，pip install -r requirements.txt；仓库内 data/sessions.jsonl 是 535 条留出评估会话。 - python -m evaluation run --model-path \<检查点\> 做模拟 rollout，rollout / replay 子命令分别对模拟轨迹和已有轨迹打分，输出 report.json 和 headline.json。 - OPTD 损失在 optd/objective.py，学生和冻结的教师模型需从同一个 SFT 检查点初始化。 **风险** - 许可是非商业研究协议，商用需书面授权，并禁止重新识别用户和再分发数据。 - README 没有给出训练好的模拟器权重下载，也没写显存需求；数字均为作者报告。 [打开](https://arxiv.org/abs/2610.30932) · [代码](https://github.com/RecGPT-Team/UserArena) · [抱脸论文页](https://huggingface.co/papers/2610.30932)