Runway ouvre le modèle robotique Praxis-1 en open source

Runway publie les poids et le code de son modèle robotique Praxis-1, sous licence Apache 2.0 permettant l'usage commercial ; lors de sa première apparition en 9, il n'était accessible qu'à quelques partenaires. Il apprend d'abord le mouvement des objets à partir de vidéos ordinaires, puis est affiné avec des vidéos d'actions humaines et des données robotiques. En entrée, il reçoit des images de caméra, des instructions textuelles et la pose du bras robotique, et prédit l'image suivante ainsi que les actions correspondantes, ce que Runway appelle un « modèle d'action mondiale ». Selon The Decoder, Runway affirme qu'il atteint un taux de réussite de 46.2% sur le classement de simulation RoboLab-120 de NVIDIA, se classant premier dans la catégorie des modèles d'action mondiale et cinquième au classement général ; sur un vrai bras robotique Franka, il a réussi 88 fois sur les 10 essais effectués pour chacune des 10 tâches. La documentation GitHub indique que la version standard nécessite un GPU avec 80 Go de mémoire vidéo, tandis qu'une version quantifiée NVFP4 est également disponible, ainsi que des versions pré-adaptées pour les bras robotiques DROID à un bras, YAM à deux bras et SO-101.

Titre original : Runway's open-source Praxis-1 turns video AI into a robot controller

Runway publie les poids et le code de son modèle robotique Praxis-1, sous licence Apache 2.0 permettant l'usage commercial ; lors de sa première apparition en 9, il n'était accessible qu'à quelques partenaires. Il apprend d'abord le mouvement des objets à partir de vidéos ordinaires, puis est affiné avec des vidéos d'actions humaines et des données robotiques. En entrée, il reçoit des images de caméra, des instructions textuelles et la pose du bras robotique, et prédit l'image suivante ainsi que les actions correspondantes, ce que Runway appelle un « modèle d'action mondiale ». Selon The Decoder, Runway affirme qu'il atteint un taux de réussite de 46.2% sur le classement de simulation RoboLab-120 de NVIDIA, se classant premier dans la catégorie des modèles d'action mondiale et cinquième au classement général ; sur un vrai bras robotique Franka, il a réussi 88 fois sur les 10 essais effectués pour chacune des 10 tâches. La documentation GitHub indique que la version standard nécessite un GPU avec 80 Go de mémoire vidéo, tandis qu'une version quantifiée NVFP4 est également disponible, ainsi que des versions pré-adaptées pour les bras robotiques DROID à un bras, YAM à deux bras et SO-101.

Pourquoi c'est important Une entreprise de génération vidéo applique le pré-entraînement vidéo au contrôle robotique ; les poids sont utilisables commercialement, permettant aux équipes robotiques d'affiner directement le modèle sur leurs propres bras robotiques.

Fiabilité : Haute fiabilité · Sources Runway (GitHub) et 2 autres (y compris officielles) · Date de l'événement 11-14 17:45 (heure de Pékin)

Raisons

  • Runway publie le code et la documentation sur GitHub, The Decoder rapporte les faits et cite son rapport de recherche

Utilisation

  • Téléchargez les poids depuis la collection runwayml/praxis-1 sur Hugging Face après avoir accepté les conditions d'accès ; le code se trouve sur GitHub dans runwayml/praxis-1-oss ; l'intégration d'un nouveau bras robotique nécessite un affinage préalable

Risques

  • Les résultats des tests proviennent uniquement de Runway, aucune reproduction indépendante n'a encore été effectuée
  • Il ne peut pas encore planifier lui-même des tâches complexes en plusieurs étapes et confond les objets d'apparence similaire
  • La version standard nécessite 80 Go de mémoire vidéo, les cartes graphiques grand public ne peuvent tester que la version quantifiée

Ouvrir · Runway (GitHub)

The Decoder

Parcourir les dernières actualités IA