원제: Runway's open-source Praxis-1 turns video AI into a robot controller
Runway가 로봇 모델 Praxis-1의 가중치와 코드를 공개했으며, 상업적 사용이 허용되는 Apache 2.0 라이선스를 채택했습니다. 9월 첫 공개 당시에는 소수의 파트너에게만 접근이 허용되었습니다. 이 모델은 먼저 일반 영상을 통해 물체의 운동 방식을 학습한 후, 인간 동작 영상과 로봇 데이터로 미세 조정합니다. 카메라 화면, 텍스트 명령어, 로봇 팔의 자세를 입력으로 받아 다음 프레임과 동작을 예측하며, Runway는 이를 '월드 액션 모델(World Action Model)'이라고 부릅니다. The Decoder에 따르면, Runway는 이 모델이 엔비디아 RoboLab-120 시뮬레이션 벤치마크에서 46.2%의 성공률을 기록했으며, 월드 액션 모델 카테고리에서 1위, 종합 순위에서 5위를 차지했다고 밝혔습니다. 실제 Franka 로봇 팔을 대상으로 한 10개의 각 작업을 10번씩 시도하여 88번 성공했습니다. GitHub 설명에 따르면 표준 버전은 80GB의 GPU 메모리가 필요하며, NVFP4 양자화 버전과 단일 팔 DROID, 이중 팔 YAM, SO-101 로봇 팔용 사전 적응 버전도 제공됩니다.
왜 중요한가 비디오 생성 기업이 비디오 사전 학습을 로봇 제어에 적용했습니다. 가중치가 상업적으로 사용 가능하므로, 로봇 팀은 이를 자신의 로봇 팔에 직접 미세 조정할 수 있습니다.
신뢰도: 높음 · 출처 Runway(GitHub) 등 2개(공식 포함) · 이벤트 시간 11-14 17:45(베이징 시간)
이유
- Runway가 GitHub에서 코드와 설명을 공개했으며, The Decoder가 이를 보도하고 연구 보고서를 인용했습니다.
사용법
- Hugging Face의 runwayml/praxis-1 컬렉션에서 접근 약관에 동의한 후 가중치를 다운로드하고, 코드는 GitHub의 runwayml/praxis-1-oss에서 확인할 수 있습니다. 새로운 로봇 팔에 연결하려면 먼저 미세 조정이 필요합니다.
리스크
- 테스트 성적은 모두 Runway가 직접 수행한 것으로, 아직 독립적인 재현이 이루어지지 않았습니다.
- 복잡한 다단계 작업을 스스로 계획할 수 없으며, 외관이 유사한 물체를 혼동하는 경우가 있습니다.
- 표준 버전은 80GB의 GPU 메모리가 필요하여, 소비자용 그래픽 카드에서는 양자화 버전만 시도할 수 있습니다.