원제: Code World Model 2.0: Towards Infinite Controllable Video Generation
Ant Inclusion AI, Westlake University, Zhejiang University의 연구입니다. 세계 상태는 상단 엔진에 유지되며, '비주얼 에이전트'(시맨틱 맵, 희소 3D 바운딩 박스, 주체 마스크, 셰이딩된 지오메트리, 스켈레톤이 포함된 박스 등 구조적 비디오)를 사용하여 카메라 경로, 장면 레이아웃 및 물체 운동을 고정합니다. 이후 비디오 모델 Invoker-Render가 에이전트, 외관 참조 이미지 하나 및 텍스트를 기반으로 재질과 조명을 생성합니다. 이 모델은 양방향 오프라인 생성 모델과 인과적 4단계 스트리밍 모델로 구성되며, 학습 데이터는 약 200시간 분량입니다. 단계 수 압축과 자기회귀 드리프트의 중첩을 방지하기 위해 저자들은 점진적 강제(ProForcing)를 제안했습니다. 먼저 인과적 예측기를 학습한 후 4단계 렌더러로 증류(distillation)하고, 이후 연속적인 자기 생성 궤적에서 학습을 진행합니다. 논문은 레이싱 장면에서 30분 동안 안정적으로 연속 생성이 가능하며, 장면과 주체의 외관이 일관되게 유지된다고 보고합니다.
왜 중요한가 '세계가 어떻게 움직이는가'와 '화면이 어떻게 보이는가'를 분리하여 카메라와 운동을 정밀하게 지정할 수 있습니다. 저자들은 30분간 연속 생성 시에도 드리프트가 발생하지 않는다고 주장합니다.
좋아요 14 · 코드 스타 수 132
이유
- README에 따르면 140개의 홀드아웃 궤적에서 4가지 평가 항목 모두 1위를 차지했으며, 총 Elo 점수는 1343.2이고, SolarRenderer(인과 버전) 대비 1245.3입니다.
- 세밀한 에이전트와 거친 에이전트를 런타임에 선택할 수 있습니다. 세밀한 지오메트리를 제공하면 세밀한 제약을 따르고, 거친 박스만 제공해도 합리적인 국소 운동을 보정합니다. 데모에는 게임패드를 통한 실시간 운전과 동일한 장면의 두 가지 카메라 경로 비교가 포함됩니다.
- 가중치 inclusionAI/invoker-render-1.0가 공개되었습니다(MiniMax-H3 기반의 인과적 스트리밍 DiT, 약 33B 파라미터). WebSocket 세션 서비스, 파일 클라이언트 및 브라우저 클라이언트가 함께 제공됩니다.
사용법
- 코드: https://github.com/inclusionAI/CodeWorldModel;权重:https://huggingface.co/inclusionAI/invoker-render-1.0(FP32 약 132.5GB (VAE, Qwen, 인과 디코더 등 관련 파일은 포함되지 않으며 별도로 준비해야 함)
- docs/INFERENCE.md에 따라 환경을 설정한 후: invoker_render.py prepare로 추론 패키지를 생성하고, serve로 서비스를 시작하며, infer로 1344×768 첫 프레임, 24 FPS 에이전트 비디오(프레임 수는 17N+5이며 최소 39프레임) 및 프롬프트를 전달하면 video.mp4가 출력됩니다.
리스크
- 기본 production 구성은 단일 머신에 8개의 GPU가 필요합니다. 30분 데모에서는 기본 서비스에서 활성화되지 않은 참조 가이드 품질 전략을 사용했습니다.
- 라이선스는 Apache-2.0에 CC BY-NC 4.0(비상업적) 조항이 추가된 형태입니다. 학습 방법과 데이터는 아직 공개되지 않았습니다. 이 항목은 실행되지 않았습니다.