PrimeSim 是动作条件的多视角世界模型,基于 Wan2.2-TI2V-5B:输入每个相机视角的第一帧、一段提示词和动作轨迹,生成之后发生的画面。作者称用覆盖 22 种机器人平台的 30,110 小时数据训练,在仿真评测 WorldSimProbe 五项中四项领先、EWMBench 总分最好。提供中期训练的基础权重(用于微调)和第四阶段的因果少步推理权重,推理时三个视角在 192×256 下一起生成,作者称超过 10 FPS。
为什么重要 用生成视频代替物理仿真来预演机器人操作,三个相机视角一起生成,权重可商用。
抱脸点赞 2 · 抱脸上升分 2 · 抱脸下载 201
许可证:可商用 · ComfyUI:暂无 · 显存:24 GB
理由
- Apache-2.0 许可,论文、项目页、推理和训练代码都已公开
用法
- 从 Wan2.2-TI2V-5B 下载文本编码器、VAE 和分词器,按 GitHub 仓库配置路径后用 primesim_posttrain_g2 跑示例
风险
- 推荐 A100 或 H100 80GB,5B 主干和 11 GB 文本编码器要同时常驻,24 GB 显卡放不下
- 训练数据不公开;评测数字为作者自报