엔비디아의 실시간 동작 생성 모델: 캐릭터의 최근 포즈와 다음에 도달할 목표 포즈를 입력하면 두 포즈 사이의 연속적인 동작을 생성하며, 인체 골격 애니메이션과 Unitree G1 휴머노이드 로봇의 참조 동작으로 사용됩니다. 함께 제공되는 Smart Primitives는 목표 포즈를 재사용 가능한 '블록'으로 만들어 재학습 없이 보행 및 물체 상호작용 동작을 조합할 수 있습니다.
상승 점수 73 · 좋아요 74 · 다운로드 수 0
이유
- 두 가지 가중치 세트: SOMA(30 관절 인체 골격, 약 200M 파라미터, Bones RigPlay 1 모션 캡처 데이터의 313,526개 시퀀스로 학습)와 Unitree G1(34 관절, 약 195M 파라미터)로 구성되며, 두 파일은 호환되지 않습니다.
- 각 세트는 포즈 VQ-VAE, 포즈 예측기, 루트 모션 예측기 세 개의 네트워크로 구성됩니다. 출력은 30 Hz 동작이며, 한 번의 생성에서 6–16개 토큰(24–64 프레임)을 생성하고, 더 긴 동작은 출력을 컨텍스트로 반복하여 생성합니다. 텍스트 또는 이미지 입력은 지원하지 않습니다.
- 논문은 ACM Transactions on Graphics에 게재되었습니다. 가중치는 NVIDIA Open Model Agreement를 따르며 상업적 사용 및 수정본 재배포가 허용되고, 관련 코드는 Apache 2.0 라이선스를 적용받습니다. 10월 23일에 공개되었으며, 이전 호에서는 다루지 않았습니다.
사용법
- 효과만 확인하려면: GitHub의 NVlabs/motionbricks 소프트웨어를 직접 사용하세요. ONNX 모델과 SOMA, G1 데모(Newton 및 Warp 기반)가 포함되어 있어 여기서 가중치를 다운로드할 필요가 없습니다. TensorRT 데모 실행에는 NVIDIA GPU가 필요합니다.
- 자체적으로 ONNX로 내보내거나 다른 런타임을 사용하려면: hf download nvidia/MotionBricks --include "soma/*"(또는 "g1/*")를 사용하여 디렉터리 구조를 유지하고, 소프트웨어 저장소의 tools/onnx 가이드에 따라 내보냅니다. 내보내기 도구는 CPU에서 실행되며 Python 3.12, PyTorch 2.14.0+cpu가 필요합니다.
리스크
- 생성되는 것은 동작이며 로봇 제어기가 아닙니다: 실제 로봇에 적용하려면 별도의 추적 제어기, 관절 한계 검사 및 안전 검증이 필요합니다.
- 모델 카드에는 엔드투엔드 평가 점수가 없으며 추론 지연 시간이나 처리량도 제공되지 않습니다. 가중치는 Transformers의 from_pretrained 모델이 아니며 학습 절차나 학습 데이터를 포함하지 않습니다.
- 포함된 BONES 동작 샘플은 내부 평가 테스트에만 사용이 허용됩니다(NVIDIA Sample Data Evaluation License). G1 패키지에는 원래 데모에 사용된 동작 라이브러리가 포함되어 있지 않습니다.
편집: data.json에서는 언어 모델로 분류했지만 실제로는 동작 생성을 수행하므로 여기서 생성 모델로 재분류했습니다.