Runway mở mã nguồn mô hình robot Praxis-1

Runway công khai trọng số và mã nguồn của mô hình robot Praxis-1, sử dụng giấy phép Apache 2.0 cho phép thương mại hóa; khi ra mắt lần đầu vào tháng 9, nó chỉ được mở cho một số ít đối tác. Mô hình này trước tiên học cách các vật thể di chuyển từ video thông thường, sau đó tinh chỉnh bằng video hành động của con người và dữ liệu robot, với đầu vào là hình ảnh từ camera, lệnh văn bản và tư thế cánh tay robot, để dự đoán khung hình và hành động tiếp theo; Runway gọi đây là “mô hình hành động thế giới”. Theo The Decoder, Runway cho biết mô hình này đạt tỷ lệ thành công 46.2% trên bảng xếp hạng mô phỏng RoboLab-120 của Nvidia, đứng thứ nhất trong nhóm mô hình hành động thế giới và thứ năm chung cuộc; trên cánh tay robot Franka thực tế, với 10 nhiệm vụ, mỗi nhiệm vụ thử 10 lần, đã thành công 88 lần. Tài liệu trên GitHub cho biết phiên bản tiêu chuẩn yêu cầu GPU có bộ nhớ VRAM 80 GB, ngoài ra còn có phiên bản lượng tử hóa NVFP4, cùng các phiên bản được điều chỉnh sẵn cho cánh tay robot đơn DROID, cánh tay robot đôi YAM và SO-101.

Tựa đề gốc: Mô hình mã nguồn mở Praxis-1 của Runway biến AI video thành bộ điều khiển robot

Runway công khai trọng số và mã nguồn của mô hình robot Praxis-1, sử dụng giấy phép Apache 2.0 cho phép thương mại hóa; khi ra mắt lần đầu vào tháng 9, nó chỉ được mở cho một số ít đối tác. Mô hình này trước tiên học cách các vật thể di chuyển từ video thông thường, sau đó tinh chỉnh bằng video hành động của con người và dữ liệu robot, với đầu vào là hình ảnh từ camera, lệnh văn bản và tư thế cánh tay robot, để dự đoán khung hình và hành động tiếp theo; Runway gọi đây là “mô hình hành động thế giới”. Theo The Decoder, Runway cho biết mô hình này đạt tỷ lệ thành công 46.2% trên bảng xếp hạng mô phỏng RoboLab-120 của Nvidia, đứng thứ nhất trong nhóm mô hình hành động thế giới và thứ năm chung cuộc; trên cánh tay robot Franka thực tế, với 10 nhiệm vụ, mỗi nhiệm vụ thử 10 lần, đã thành công 88 lần. Tài liệu trên GitHub cho biết phiên bản tiêu chuẩn yêu cầu GPU có bộ nhớ VRAM 80 GB, ngoài ra còn có phiên bản lượng tử hóa NVFP4, cùng các phiên bản được điều chỉnh sẵn cho cánh tay robot đơn DROID, cánh tay robot đôi YAM và SO-101.

Tại sao quan trọng Các công ty tạo video áp dụng tiền huấn luyện video vào điều khiển robot; trọng số có thể thương mại hóa, giúp các nhóm phát triển robot tinh chỉnh trực tiếp trên cánh tay robot của riêng họ.

Độ tin cậy: Cao · Nguồn Runway (GitHub) và 2 nguồn khác (bao gồm nguồn chính thức) · Thời gian sự kiện 11-14 17:45 (giờ Bắc Kinh)

Lý do

  • Runway công khai mã nguồn và tài liệu trên GitHub, The Decoder đưa tin và trích dẫn báo cáo nghiên cứu của họ

Cách sử dụng

  • Tải trọng số từ bộ sưu tập runwayml/praxis-1 trên Hugging Face sau khi đồng ý với các điều khoản truy cập, mã nguồn nằm tại GitHub runwayml/praxis-1-oss; cần tinh chỉnh trước khi tích hợp với cánh tay robot mới

Rủi ro

  • Các kết quả kiểm thử đều do Runway tự thực hiện, chưa có sự tái lập độc lập
  • Chưa thể tự lập kế hoạch cho các nhiệm vụ phức tạp nhiều bước, dễ nhầm lẫn giữa các vật thể có ngoại hình tương tự nhau
  • Phiên bản tiêu chuẩn yêu cầu 80 GB VRAM, card đồ họa phổ thông chỉ có thể dùng thử phiên bản lượng tử hóa

Mở · Runway (GitHub)

The Decoder

Xem tin AI mới nhất