PartLock-CMU

PartLock-CMU는 스트리밍 텍스트-투-모션 모델로, 3050만 파라미터의 생성기와 750만 파라미터의 부위별 동작 토크나이저로 구성됩니다. 'walk', 'jump', 'salsa dance' 같은 짧은 문장을 입력하면 전신 동작을 지속적으로 생성하며, 문장을 변경한 후 약 0.13초 만에 반영되어 동작이 연속적으로 전환됩니다. 저자는 CMU 모션 캡처 데이터셋의 2308개 클립만을 사용하여 RTX 3060 GPU 한 장에서 훈련했으며, 전체 과정은 약 3시간 50분이 소요되었습니다. 동일한 GPU에서 각 단계(4프레임)당 처리 시간은 35–38밀리초로, 실시간 처리에 필요한 속도보다 약 3.5배 빠릅니다. 출력은 30fps, 22개 관절(SMPL 순서)의 위치 및 회전 데이터이며, 이를 캐릭터 골격으로 리타겟팅하는 작업은 사용자가 직접 수행해야 합니다.

PartLock-CMU는 스트리밍 텍스트-투-모션 모델로, 3050만 파라미터의 생성기와 750만 파라미터의 부위별 동작 토크나이저로 구성됩니다. 'walk', 'jump', 'salsa dance' 같은 짧은 문장을 입력하면 전신 동작을 지속적으로 생성하며, 문장을 변경한 후 약 0.13초 만에 반영되어 동작이 연속적으로 전환됩니다. 저자는 CMU 모션 캡처 데이터셋의 2308개 클립만을 사용하여 RTX 3060 GPU 한 장에서 훈련했으며, 전체 과정은 약 3시간 50분이 소요되었습니다. 동일한 GPU에서 각 단계(4프레임)당 처리 시간은 35–38밀리초로, 실시간 처리에 필요한 속도보다 약 3.5배 빠릅니다. 출력은 30fps, 22개 관절(SMPL 순서)의 위치 및 회전 데이터이며, 이를 캐릭터 골격으로 리타겟팅하는 작업은 사용자가 직접 수행해야 합니다.

왜 중요한가 CMU 모션 캡처 데이터셋만으로 훈련되어 저자는 상업 제품에서도 사용 가능하다고 주장합니다. 소비자용 NVIDIA GPU로도 실시간 생성이 가능하며, 출력된 골격 데이터를 캐릭터에 바인딩할 수 있습니다.

좋아요 1 · 상승 점수 1 · 다운로드 0

라이선스: 상업적 사용 가능 · ComfyUI: 없음 · VRAM: 약 1 GB 추정

이유

  • 코드와 가중치는 Apache-2.0 라이선스를 따르며, 모델 카드에는 훈련 데이터, 분할 방식 및 한계점이 명시되어 있고 예시는 선별되지 않았습니다.
  • 로컬 실시간 데모 페이지가 포함되어 있으며, Windows에서는 스크립트를 더블 클릭하여 실행할 수 있습니다.

사용법

  • pip install -r requirements.txt를 실행한 후 python live/live_server.py를 실행하고 http://localhost:8765에서 짧은 문장을 입력하거나, python generate.py --sec 4 --out motion.npz "walk" "jump" 명령어를 사용하여 동작 파일을 내보낼 수 있습니다.

리스크

  • CMU 데이터셋에 포함된 동작만 생성할 수 있으며, 저자가 시도한 20개의 새로운 동작은 대부분 제자리걸음에 그쳤습니다. 한 문장에 두 가지 동작을 섞으면 효과가 좋지 않습니다.
  • 영어 프롬프트만 지원되며, NVIDIA GPU가 필요합니다. 출력은 메시가 아닌 골격 데이터이며, 데모 페이지는 일본어 인터페이스입니다.

열기

抱脸 text-to-3d 上升榜第 8

최신 AI 소식 보기