RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation

给具身场景（机械夹爪、人手、灵巧手）的生成视频打分的评审模型和基准：从“物理合理性”和“是否按指令完成”两个维度评分；作者发现通用多模态模型在物理合理性上与人类评分一致度偏低，于是用 12K 条视频、25K 个人工核验分数训练出 RoboJudge-9B。 点赞 3 · 代码星数 2 **理由** - 做视频生成或世界模型的团队可以用它代替人工逐条看片：基准含 800 条人工标注视频，覆盖 8 个来源语料和 10 个视频生成器。 - 作者报告 RoboJudge-9B 与人类评分的总体 Pearson 相关 0.719，比表现最好的闭源基线 Gemini-3.7-Flash 高 0.089；README 给出物理合理性 0.645、指令对齐 0.775。 - 用 RoboJudge-Train 训练在 VideoPhy2、Physion-Eval 等外部基准上也有提升（作者称），作者还用它给多个视频生成模型做了排名。 **用法** - 代码：github.com/Sphere-AI-Lab/RoboJudge（Apache-2.0）；模型：抱脸 HuggingFriends/RoboJudge-9B（模型卡标 apache-2.0，Qwen3.5 架构，transformers 加载）；基准与训练数据：HuggingFriends/RoboJudge-Bench、HuggingFriends/RoboJudge-Train。 - README 流程：pip install -r requirements.txt → huggingface-cli download HuggingFriends/RoboJudge-Bench --repo-type dataset --local-dir data\_root → CKPT=HuggingFriends/RoboJudge-9B DATA\_ROOT=… LIMIT=4 bash code/run\_inference.sh → python code/evaluate.py 对比人工标注。 - 监督微调和 GRPO 强化学习的训练命令见仓库 TRAINING.md。 **风险** - 评分对象限于机器人 / 手部操作视频，通用场景的生成视频未验证；README 未写显存需求。 - 基准数据集标 cc-by-nc-4.0，不可商用；相关系数等数字均为作者报告。 [打开](https://arxiv.org/abs/2610.27782) · [代码](https://github.com/Sphere-AI-Lab/RoboJudge) · [抱脸论文页](https://huggingface.co/papers/2610.27782)