gta

这是一个可交互的视频世界模型:给一张起始图,按住按键,模型按玩家动作一帧一帧生成后续画面并推流到浏览器。作者自创的 Summaryformer 架构让每一帧同时产出完整画面和 96 个摘要 token,最近两帧保留全分辨率,更早的帧只留摘要,起始图一直保留,作者称同样时长下注意力要读的键从 26,208 个降到 6,528 个。模型约 6.3 亿参数,用作者自建的 800 小时 GTA5 数据集训练;仓库包含权重和完整推理服务,不含训练代码。

这是一个可交互的视频世界模型:给一张起始图,按住按键,模型按玩家动作一帧一帧生成后续画面并推流到浏览器。作者自创的 Summaryformer 架构让每一帧同时产出完整画面和 96 个摘要 token,最近两帧保留全分辨率,更早的帧只留摘要,起始图一直保留,作者称同样时长下注意力要读的键从 26,208 个降到 6,528 个。模型约 6.3 亿参数,用作者自建的 800 小时 GTA5 数据集训练;仓库包含权重和完整推理服务,不含训练代码。

为什么重要 作者在消费级硬件上从零训练,用「近帧保留全貌、远帧只留摘要」的记忆设计把注意力开销压下来,可直接在浏览器试玩。

抱脸点赞 11 · 抱脸上升分 11 · 抱脸下载 0

许可证:可商用 · ComfyUI:暂无 · 显存:显存未标

理由

  • Apache-2.0 许可;模型卡把记忆机制、哪些是自己的设计、借鉴了哪些工作都写清楚了
  • 有在线试玩页面,也给出了服务端协议

用法

  • hf download lucidml/gta --local-dir gta 后运行 python summary_server.py(默认 3002 端口),按协议上传起始图、通过 WebSocket 发送按键;需要 CUDA 显卡和 PyTorch

风险

  • 训练数据来自 GTA5 游戏画面,生成内容涉及游戏版权,商用前要谨慎评估
  • 浏览器客户端不在仓库里;一个 GPU 进程同时只能服务一名玩家,模型卡没写显存需求

打开

抱脸 image-to-video 上升榜第 9

浏览最新 AI 动态