原题:Runway's open-source Praxis-1 turns video AI into a robot controller
Runway 公开机器人模型 Praxis-1 的权重和代码,采用允许商用的 Apache 2.0 许可;9 月首次亮相时只开放给少数合作伙伴。它先在普通视频上学物体怎么运动,再用人类动作视频和机器人数据微调,输入摄像头画面、文字指令和机械臂位姿,预测下一段画面和动作,Runway 称之为“世界动作模型”。据 The Decoder,Runway 称它在英伟达 RoboLab-120 仿真榜上成功率 46.2%,世界动作模型类排第一、总榜第五;在真实 Franka 机械臂上 10 项任务各试 10 次,成功 88 次。GitHub 说明称标准版需要 80 GB 显存的 GPU,另有 NVFP4 量化版,以及单臂 DROID、双臂 YAM、SO-101 机械臂的预适配版本。
为什么重要 视频生成公司把视频预训练用到机器人控制;权重可商用,机器人团队能直接微调到自己的机械臂上。
可信度:高可信 · 来源 Runway(GitHub) 等 2 家(含官方) · 事件时间 11-14 17:45(北京时间)
理由
- Runway 在 GitHub 公开代码和说明,The Decoder 报道并引用其研究报告
用法
- 在 Hugging Face 的 runwayml/praxis-1 合集同意访问条款后下载权重,代码在 GitHub runwayml/praxis-1-oss;接新机械臂要先微调
风险
- 测试成绩都是 Runway 自己跑的,尚无独立复现
- 还不能自己规划复杂的多步任务,会混淆外观相似的物体
- 标准版需要 80 GB 显存,消费级显卡只能试量化版