Runway、ロボットモデルPraxis-1をオープンソース化

Runwayは、商用利用が可能なApache 2.0ライセンスで、ロボットモデルPraxis-1の重みとコードを公開しました。9月の初公開時は少数のパートナーのみがアクセスできました。このモデルは、まず通常の動画から物体の動きを学習し、その後、人間の動作動画とロボットデータでファインチューニングを行います。カメラ映像、テキスト指示、ロボットアームの姿勢を入力として、次のフレームと動作を予測し、Runwayはこれを「世界動作モデル」と呼んでいます。The Decoderによると、RunwayはNVIDIA RoboLab-120シミュレーションベンチマークで成功率46.2%を達成し、世界動作モデルカテゴリーで1位、総合で5位を記録したと述べています。実際のFrankaロボットアームでは、10件のタスクそれぞれで10回試行し、88回成功しました。GitHubの説明によれば、標準版には80 GBのVRAMを備えたGPUが必要で、NVFP4量子化版、および単腕DROID、双腕YAM、SO-101ロボットアーム向けの事前適応版も提供されています。

原題:Runway's open-source Praxis-1 turns video AI into a robot controller

Runwayは、商用利用が可能なApache 2.0ライセンスで、ロボットモデルPraxis-1の重みとコードを公開しました。9月の初公開時は少数のパートナーのみがアクセスできました。このモデルは、まず通常の動画から物体の動きを学習し、その後、人間の動作動画とロボットデータでファインチューニングを行います。カメラ映像、テキスト指示、ロボットアームの姿勢を入力として、次のフレームと動作を予測し、Runwayはこれを「世界動作モデル」と呼んでいます。The Decoderによると、RunwayはNVIDIA RoboLab-120シミュレーションベンチマークで成功率46.2%を達成し、世界動作モデルカテゴリーで1位、総合で5位を記録したと述べています。実際のFrankaロボットアームでは、10件のタスクそれぞれで10回試行し、88回成功しました。GitHubの説明によれば、標準版には80 GBのVRAMを備えたGPUが必要で、NVFP4量子化版、および単腕DROID、双腕YAM、SO-101ロボットアーム向けの事前適応版も提供されています。

なぜ重要か 動画生成企業が動画の事前学習をロボット制御に応用。重みは商用利用が可能で、ロボット開発チームは自社のロボットアームに直接ファインチューニングできます。

信頼性:高信頼 · 出典 Runway(GitHub)など2社(公式含む) · イベント日時 11-14 17:45(北京時間)

理由

  • RunwayがGitHubでコードと説明を公開し、The Decoderがその研究レポートを引用して報道

使い方

  • Hugging Faceのrunwayml/praxis-1コレクションでアクセス条件に同意した後、重みをダウンロード。コードはGitHubのrunwayml/praxis-1-ossにあります。新しいロボットアームに接続するには、まずファインチューニングが必要です

リスク

  • テスト結果はすべてRunway自身によるもので、独立した再現は未実施
  • 複雑な多段階タスクの自律的な計画はまだできず、外見が類似した物体を混同する可能性がある
  • 標準版には80 GBのVRAMが必要で、コンシューマー向けGPUでは量子化版のみ試せる

開く · Runway(GitHub)

The Decoder

最新の AI ニュースを見る