Runway 开源机器人模型 Praxis-1

Runway 公开机器人模型 Praxis-1 的权重和代码,采用允许商用的 Apache 2.0 许可;9 月首次亮相时只开放给少数合作伙伴。它先在普通视频上学物体怎么运动,再用人类动作视频和机器人数据微调,输入摄像头画面、文字指令和机械臂位姿,预测下一段画面和动作,Runway 称之为“世界动作模型”。据 The Decoder,Runway 称它在英伟达 RoboLab-120 仿真榜上成功率 46.2%,世界动作模型类排第一、总榜第五;在真实 Franka 机械臂上 10 项任务各试 10 次,成功 88 次。GitHub 说明称标准版需要 80 GB 显存的 GPU,另有 NVFP4 量化版,以及单臂 DROID、双臂 YAM、SO-101 机械臂的预适配版本。

原题:Runway's open-source Praxis-1 turns video AI into a robot controller

Runway 公开机器人模型 Praxis-1 的权重和代码,采用允许商用的 Apache 2.0 许可;9 月首次亮相时只开放给少数合作伙伴。它先在普通视频上学物体怎么运动,再用人类动作视频和机器人数据微调,输入摄像头画面、文字指令和机械臂位姿,预测下一段画面和动作,Runway 称之为“世界动作模型”。据 The Decoder,Runway 称它在英伟达 RoboLab-120 仿真榜上成功率 46.2%,世界动作模型类排第一、总榜第五;在真实 Franka 机械臂上 10 项任务各试 10 次,成功 88 次。GitHub 说明称标准版需要 80 GB 显存的 GPU,另有 NVFP4 量化版,以及单臂 DROID、双臂 YAM、SO-101 机械臂的预适配版本。

为什么重要 视频生成公司把视频预训练用到机器人控制;权重可商用,机器人团队能直接微调到自己的机械臂上。

可信度:高可信 · 来源 Runway(GitHub) 等 2 家(含官方) · 事件时间 11-14 17:45(北京时间)

理由

  • Runway 在 GitHub 公开代码和说明,The Decoder 报道并引用其研究报告

用法

  • 在 Hugging Face 的 runwayml/praxis-1 合集同意访问条款后下载权重,代码在 GitHub runwayml/praxis-1-oss;接新机械臂要先微调

风险

  • 测试成绩都是 Runway 自己跑的,尚无独立复现
  • 还不能自己规划复杂的多步任务,会混淆外观相似的物体
  • 标准版需要 80 GB 显存,消费级显卡只能试量化版

打开 · Runway(GitHub)

The Decoder

浏览最新 AI 动态