PrimeSim은 동작 조건 기반의 다중 시점 세계 모델로, Wan2.2-TI2V-5B를 기반으로 합니다. 각 카메라 시점의 첫 번째 프레임, 프롬프트 및 동작 궤적을 입력으로 받아 이후 발생하는 장면을 생성합니다. 저자들은 22개의 로봇 플랫폼을 포괄하는 30,110시간의 데이터로 학습했으며, 시뮬레이션 평가인 WorldSimProbe의 5개 항목 중 4개에서 선두를 차지하고 EWMBench 종합 점수에서 최고 성적을 거두었다고 밝혔습니다. 미세 조정을 위한 중간 단계 학습 기본 가중치와 4단계 인과적 소스텝 추론 가중치를 제공합니다. 추론 시 세 개의 시점이 192×256 해상도에서 함께 생성되며, 저자들은 초당 프레임 수(FPS)가 10을 초과한다고 보고했습니다.
왜 중요한가 물리 시뮬레이션 대신 생성된 비디오를 사용하여 로봇 조작을 사전에 시뮬레이션하며, 세 개의 카메라 시점을 동시에 생성하고 가중치는 상업적으로 사용 가능합니다.
좋아요 2 · 상승 점수 2 · 다운로드 수 201
라이선스: 상업적 사용 가능 · ComfyUI: 현재 없음 · VRAM: 24 GB
이유
- Apache-2.0 라이선스이며, 논문, 프로젝트 페이지, 추론 및 학습 코드가 모두 공개되어 있습니다.
사용법
- Wan2.2-TI2V-5B에서 텍스트 인코더, VAE 및 토크나이저를 다운로드한 후 GitHub 저장소 지침에 따라 경로를 설정하고 primesim_posttrain_g2을 실행하여 예제를 수행합니다.
리스크
- A100 또는 H100 80GB를 권장하며, 5B 백본과 11 GB 텍스트 인코더가 동시에 상주해야 하므로 24 GB 그래픽 카드에서는 실행할 수 없습니다.
- 학습 데이터는 공개되지 않으며, 평가 수치는 저자들이 자체 보고한 것입니다.