invoker-render-1.0

Invoker-Render는 Code World Model 2.0(앤트 그룹 inclusionAI, 시후 대학, 저장 대학)의 렌더러입니다. 구조적 에이전트 비디오(시맨틱 맵, 희소 3D 박스, 주체 마스크, 채색된 지오메트리 또는 스켈레톤이 있는 박스), 외관 참조 이미지 및 텍스트를 입력으로 받아 각 블록당 4 단계의 인과적 스트리밍 방식으로 비디오를 생성하며, 각 블록은 고정된 외관 앵커와 제한된 최근 히스토리만 참조합니다. 가중치는 33.12B 매개변수의 FP32 메인 모델(약 132.5 GB)이며, MiniMax-H3 아키텍처를 따르고 추론 코드는 SGLang 및 SGLang-Omni 기반의 WebSocket 세션 서비스와 브라우저 클라이언트를 포함합니다.

Invoker-Render는 Code World Model 2.0(앤트 그룹 inclusionAI, 시후 대학, 저장 대학)의 렌더러입니다. 구조적 에이전트 비디오(시맨틱 맵, 희소 3D 박스, 주체 마스크, 채색된 지오메트리 또는 스켈레톤이 있는 박스), 외관 참조 이미지 및 텍스트를 입력으로 받아 각 블록당 4 단계의 인과적 스트리밍 방식으로 비디오를 생성하며, 각 블록은 고정된 외관 앵커와 제한된 최근 히스토리만 참조합니다. 가중치는 33.12B 매개변수의 FP32 메인 모델(약 132.5 GB)이며, MiniMax-H3 아키텍처를 따르고 추론 코드는 SGLang 및 SGLang-Omni 기반의 WebSocket 세션 서비스와 브라우저 클라이언트를 포함합니다.

중요한 이유 카메라, 레이아웃 및 물체 움직임은 상단 엔진의 와이어프레임이나 시맨틱 맵으로 고정되며, 모델은 재질과 조명만 렌더링하여 지속적으로 스트리밍 생성이 가능합니다. 저자는 30분 연속 레이싱 화면을 시연했습니다.

Hugging Face 좋아요 8 · Hugging Face 상승 점수 8 · Hugging Face 다운로드 1989

라이선스: 비상업적 용도 · ComfyUI: 없음 · VRAM: 약 80 GB 추정

이유

  • 논문, 프로젝트 페이지, 추론 코드 및 Hugging Face 온라인 데모 포함
  • 저자는 140개 홀드아웃 테스트에서 4가지 인간 평가 기준 모두 1위를 차지했다고 주장합니다.

사용법

  • github.com/inclusionAI/CodeWorldModel의 README와 docs/INFERENCE.md를 참고하여 환경 및 추론 패키지를 준비하고, 1344×768 크기의 첫 프레임 이미지, 24 FPS 에이전트 비디오 및 텍스트를 입력으로 하여 파일 추론을 위해 invoker_render.py를 실행하거나 세션 서비스를 시작합니다.

리스크

  • 기본 production 구성은 단일 머신에 NVIDIA GPU 8장이 필요하며, 저장소에는 VAE, Qwen, 인과 디코더 등이 포함되어 있지 않아 별도로 준비해야 합니다.
  • 라이선스는 Apache-2.0 및 CC BY-NC 4.0로 비상업적 용도로 취급됩니다. 학습 방법과 데이터는 아직 공개되지 않았습니다.

열기

抱脸 world-model 标签

최신 AI 소식 보기