Оригинал: Runway's open-source Praxis-1 turns video AI into a robot controller
Runway опубликовала веса и код своей робототехнической модели Praxis-1 под лицензией Apache 2.0, разрешающей коммерческое использование; при первом представлении в 9 месяце доступ к ней был предоставлен лишь ограниченному числу партнёров. Модель сначала обучается на обычных видео, чтобы понять, как движутся объекты, а затем дообучается на видео с действиями людей и данных роботов: она получает на вход изображение с камеры, текстовую инструкцию и позу манипулятора, предсказывая следующий кадр и действие. Runway называет это «моделью действий в мире». По данным The Decoder, Runway сообщает, что модель достигла успеха в 46.2%% случаев в симуляционном рейтинге NVIDIA RoboLab-120, заняв первое место среди моделей действий в мире и пятое место в общем зачёте; на реальном манипуляторе Franka из 10 задач каждая была выполнена по 10 раз, с общим числом успешных попыток 88. В описании на GitHub указано, что стандартная версия требует GPU с 80 ГБ видеопамяти; также доступны квантованная версия NVFP4, а также предварительно адаптированные версии для одноплечевого робота DROID, двухплечевого YAM и манипулятора SO-101.
Почему это важно Компания по генерации видео применяет предобучение на видеоданных для управления роботами; веса доступны для коммерческого использования, что позволяет командам разработчиков роботов напрямую дообучать модель под свои манипуляторы.
Достоверность: Высокая · Источники: Runway (GitHub) и ещё 2 источников (включая официальные) · Дата события: 11-14 17:45 (пекинское время)
Обоснование
- Runway опубликовала код и документацию на GitHub, The Decoder сообщил об этом, ссылаясь на исследовательский отчёт компании
Использование
- Загрузите веса из коллекции runwayml/praxis-1 на Hugging Face после принятия условий доступа; код доступен в репозитории GitHub runwayml/praxis-1-oss. Для подключения нового манипулятора требуется дообучение.
Риски
- Все тестовые результаты получены самой Runway, независимого воспроизведения пока нет
- Модель пока не может самостоятельно планировать сложные многошаговые задачи и путает визуально похожие объекты
- Стандартная версия требует 80 ГБ видеопамяти, на потребительских видеокартах можно использовать только квантованную версию