EvoWorld: 비디오 세계 모델이 화면 밖 사건의 결과를 추론하도록 함

비디오 생성 모델은 신뢰할 수 있는 장면을 그리는 데 능숙하지만, 사건 발생 후 세계가 어떻게 변해야 하는지(예: 야생 동물이 나타난 후 주변 사람이 도망쳐야 하는지, 숨어야 하는지, 아니면 저항해야 하는지)는 종종 추론하지 못합니다. EvoWorld는 시각 언어 모델을 '세계 두뇌'로 활용하여 이미 생성된 클립을 관찰하고, 세계 상태를 유지하며 결과를 추론한 후, 세그먼트별 자기회귀 비디오 렌더러(LTX-2 기반)를 통해 이를 렌더링합니다. 화면 밖의 사람과 사물도 계속 변화합니다. 저자들은 EvoWorld-Data 학습 데이터와 EvoWorld-Bench 벤치마크를 함께 공개했으며, 사건이 유발하는 인과적 진화 측면에서 최근 모델보다 현저히 우수하면서도 화질과 재방문 일관성을 유지한다고 주장합니다.

원제: EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models

비디오 생성 모델은 신뢰할 수 있는 장면을 그리는 데 능숙하지만, 사건 발생 후 세계가 어떻게 변해야 하는지(예: 야생 동물이 나타난 후 주변 사람이 도망쳐야 하는지, 숨어야 하는지, 아니면 저항해야 하는지)는 종종 추론하지 못합니다. EvoWorld는 시각 언어 모델을 '세계 두뇌'로 활용하여 이미 생성된 클립을 관찰하고, 세계 상태를 유지하며 결과를 추론한 후, 세그먼트별 자기회귀 비디오 렌더러(LTX-2 기반)를 통해 이를 렌더링합니다. 화면 밖의 사람과 사물도 계속 변화합니다. 저자들은 EvoWorld-Data 학습 데이터와 EvoWorld-Bench 벤치마크를 함께 공개했으며, 사건이 유발하는 인과적 진화 측면에서 최근 모델보다 현저히 우수하면서도 화질과 재방문 일관성을 유지한다고 주장합니다.

왜 중요한가 사건 발생 후 사람과 사물이 합리적인 반응을 보이고, 화면 밖으로 나갔다가 다시 돌아와도 일관성이 유지되므로, 비디오 생성이 '잘 그리는 것'에서 '정확하게 추론하는 것'으로 한 걸음 나아갑니다

좋아요 19 · 코드 스타 수 22

이유

  • 비디오 세계 모델에 명시적인 세계 상태 및 인과 추론 단계를 추가하여 '장면은 자연스럽지만 인물들은 움직이지 않거나 앞뒤가 맞지 않는' 문제를 해결
  • 가중치, 학습 데이터, 벤치마크 세트 및 2단계 학습 스크립트가 모두 공개됨
  • 저장소에 이미지-투-비디오 예제가 포함되어 있으며, 예제의 반응 프롬프트는 사전 생성되어 VLM 서비스를 실행하지 않아도 실행 가능

사용법

  • 코드: https://github.com/Tommy-Bie/EvoWorld;权重:抱脸 Tommy-Bie/EvoWorld; 데이터: Tommy-Bie/EvoWorld-Data, Tommy-Bie/EvoWorld-Bench
  • uv sync로 환경을 설정한 후 scripts/infer_examples.sh --case media/example1를 실행하여 예제를 실행; 온라인 추론을 원할 경우 별도의 VLM 서비스를 실행해야 함(docs/VLM_INFERENCE.md 참조)

리스크

  • LTX-2 기반이며, 관련 구성 요소는 LTX-2.x 커뮤니티 라이선스의 제약을 받으므로 상업적 사용 전 라이선스를 확인해야 함
  • 성능 향상은 주로 저자가 자체 구축한 EvoWorld-Bench에서 측정되었으며, 초록에는 구체적인 수치가 제공되지 않음
  • 본 항목은 실행되지 않았으므로, 화면 효과는 프로젝트 페이지를 기준으로 함

열기 · 코드 · 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기