原题:EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models
视频生成模型擅长画出可信的画面,但事件发生后世界该怎么变化(比如野兽出现后,旁边的人该逃跑、躲藏还是反抗)常常推不出来。EvoWorld 让一个视觉语言模型充当“世界大脑”,观察已生成的片段、维护世界状态并推断后果,再由按段自回归的视频渲染器(基于 LTX-2)画出来,画面外的人和物也会继续变化。作者同时发布 EvoWorld-Data 训练数据和 EvoWorld-Bench 评测,称在事件触发的因果演化上明显优于近期模型,同时保持画质和重访一致性。
为什么重要 事件发生后人和物会做出合理反应,离开画面再回来也能对上,视频生成从画得像往推得对走一步
点赞 19 · 代码星数 22
理由
- 给视频世界模型加了显式的世界状态和因果推理环节,针对“画面合理但人物不动、前后矛盾”的问题
- 权重、训练数据、评测集和两阶段训练脚本都已放出
- 仓库附带图生视频示例,示例里的反应提示词已预先生成,不启动 VLM 服务也能跑
用法
- 代码:https://github.com/Tommy-Bie/EvoWorld;权重:抱脸 Tommy-Bie/EvoWorld;数据:Tommy-Bie/EvoWorld-Data、Tommy-Bie/EvoWorld-Bench
- uv sync 装好环境后用 scripts/infer_examples.sh --case media/example1 跑示例;要在线推理需另起 VLM 服务(见 docs/VLM_INFERENCE.md)
风险
- 基于 LTX-2,相关组件受 LTX-2.x 社区许可约束,商用前要看许可
- 提升主要在作者自建的 EvoWorld-Bench 上测得,摘要没给具体数字
- 本条未运行,画面效果以项目页为准