原题:LynnReal-Hand: Unlocking World Interaction with Hand Control
交互式视频世界模型能用文字和镜头探索场景,但直接和物体互动需要更细的控制。LynnReal-Hand 整理了 100K 段真实和合成场景的交互片段,用关注手部的监督改善手指动作和接触细节;再学习因果流映射做少步生成,并用分区域的分数蒸馏结合视频和图像先验,另训练紧凑的 Ultra-Fast-VAE 解码器降低延迟。作者称在 HandBench 上,全序列模型 FVD 181.67、MANO Dice 93.02,三步因果模型 Dice 92.49;单张 H200 上 540p 流式生成 18.03 FPS、延迟 741ms、显存峰值 34.89GB。
为什么重要 互动世界模型多只能用文字和镜头控制;它让手直接抓放物体,作者称单卡就能实时流式生成
点赞 2 · 代码星数 11
理由
- 已放出全序列的 Base 和三步因果的 Fast(预览版)两个生成包,以及单独的 Ultra-Fast-VAE 解码器;生成包内含 MiniMax H3 原版 VAE 和 Qwen 编码器
- 支持伸手、抓取、放下和双手配合,相机轨迹同时可控;仓库附七组带起始图、手部视频、相机位姿和参考结果的示例
- Fast 只保留当前块、前一块和固定首帧作为上下文,流式生成时注意力缓存不会一直增长
用法
- 代码:https://github.com/LynnReal-AI/LynnReal(MiniMax H3 社区许可);权重在抱脸 shaohao011 账号,用 python scripts/download_weights.py --component fast 下载
- 先 lynnreal-hand validate 检查示例输入(不需要显卡),再用 lynnreal-hand prepare 生成条件缓存、lynnreal-hand infer --config configs/fast.json 出视频,加 --accelerated 走单卡加速路径
风险
- 两个模型都是 33B,参考环境是单张 H200;起始图、手部视频和相机位姿要视场一致、帧序对齐,输入只接受几种固定帧数
- MiniMax H3 社区许可不适用于欧盟、英国、韩国和美国,商用还有额外条款
- 成绩为作者报告;本条未运行