PAN 2: 텍스트 기반 액션 추론을 통해 결과 영상을 생성하는 세계 모델

무함마드 빈 자예드 인공지능 대학(MBZUAI)의 기본 모델 연구소(IFM)가 공개한 범용 세계 모델입니다. 현재 관찰(선택적으로 이미지와 텍스트 포함)과 텍스트로 설명된 액션을 입력받아 액션의 결과를 시뮬레이션하여 최대 20초 길이의 영상을 출력합니다. 이 모델은 두 계층으로 구성됩니다. 대형 언어 모델(LLM)은 '개념 추론'을 담당하며, 장면과 액션을 타임스탬프가 포함된 구조화된 설명(이벤트, 실행자, 카메라 움직임)으로 변환합니다. 290억 파라미터 규모로 처음부터 학습된 MMDiT는 '지각 추론'을 담당하며, 이 설명에 따라 영상 잠재 변수(latent variables)를 생성하고, 이후 Wan 2.2 VAE가 이를 디코딩합니다. 하나의 체크포인트로 텍스트-투-비디오(text-to-video)와 이미지-투-비디오(image-to-video)를 모두 지원하며, 출력 해상도는 704×1248, 프레임 레이트는 24 fps입니다. 기본 설정은 50 스텝, CFG 2.5이며, 생성 시간은 약 10초입니다.

원제: IFM/PAN2

무함마드 빈 자예드 인공지능 대학(MBZUAI)의 기본 모델 연구소(IFM)가 공개한 범용 세계 모델입니다. 현재 관찰(선택적으로 이미지와 텍스트 포함)과 텍스트로 설명된 액션을 입력받아 액션의 결과를 시뮬레이션하여 최대 20초 길이의 영상을 출력합니다. 이 모델은 두 계층으로 구성됩니다. 대형 언어 모델(LLM)은 '개념 추론'을 담당하며, 장면과 액션을 타임스탬프가 포함된 구조화된 설명(이벤트, 실행자, 카메라 움직임)으로 변환합니다. 290억 파라미터 규모로 처음부터 학습된 MMDiT는 '지각 추론'을 담당하며, 이 설명에 따라 영상 잠재 변수(latent variables)를 생성하고, 이후 Wan 2.2 VAE가 이를 디코딩합니다. 하나의 체크포인트로 텍스트-투-비디오(text-to-video)와 이미지-투-비디오(image-to-video)를 모두 지원하며, 출력 해상도는 704×1248, 프레임 레이트는 24 fps입니다. 기본 설정은 50 스텝, CFG 2.5이며, 생성 시간은 약 10초입니다.

왜 중요한가 에이전트가 행동하기 전에 각 후보 시나리오의 결과를 시뮬레이션하여 최선의 선택을 할 수 있게 합니다. Apache 라이선스를 따르며, diffusers와 vLLM 모두 지원됩니다

상승 점수 70 · 좋아요 70 · 다운로드 수 10

이유

  • 용도는 '시뮬레이션 기반 추론'입니다. 에이전트나 로봇이 각 후보 시나리오를 먼저 시뮬레이션해 본 후, 시뮬레이션 결과에 따라 시나리오를 선택할 수 있습니다. 모델 카드에는 교육, 창작 등 영상 생성 용도도 명시되어 있습니다
  • 프롬프트 재작성을 위한 도구가 제공됩니다. Codex / Claude Code용 '개념 추론' 스킬과 로컬 재작성 스크립트를 공식적으로 제공하여, 자유 형식 텍스트를 모델이 요구하는 구조화된 설명으로 변환합니다
  • 배포 경로: 리포지토리에는 generate.py와 멀티 GPU 스크립트가 포함되어 있으며, diffusers와 vLLM도 지원합니다. 공식적으로 pan2-guardrail 안전 필터를 제공하여 생성 전후에 한 번씩 검사를 수행합니다

사용법

  • hf download IFM/PAN2 --include "transformer/*" 명령으로 다운로드한 후, scripts/convert_checkpoint.py to-native를 사용하여 한 번 변환합니다. 또한 Qwen/Qwen3.5-9B(텍스트 인코더)와 Wan-AI/Wan2.2-TI2V-5B-Diffusers(VAE)를 별도로 다운로드해야 합니다
  • bash inference/inference.sh [체크포인트 경로] [출력 디렉터리] [프롬프트 JSON] 명령을 실행합니다. image_path가 포함된 항목은 이미지-투-비디오로 처리되며, 길이, 스텝 수, CFG는 VIDEO_LENGTH, NUM_STEPS, GUIDANCE_SCALE 등의 환경 변수로 변경할 수 있습니다
  • 자유 형식 프롬프트는 먼저 공식 pan-prompt-rewriter 스킬이나 inference/prompts_rewritter.py를 사용하여 구조화된 설명으로 재작성한 후 생성을 진행합니다

리스크

  • 각 GPU에는 전체 290억 파라미터의 확산 모델이 탑재되어야 하며, 공식 환경은 CUDA 13과 flash-attn 4 프리뷰 버전을 사용하므로 진입 장벽이 높습니다
  • 공식 문서에 따르면 긴 계획은 실패하는 경우가 많습니다. 시뮬레이션 계획의 약 3분의 2는 최소 한 단계가 수행되지 않습니다. 프롬프트 표현에 민감하며, 클립 간 외형이 변형될 수 있고, 때로는 물리적 제약을 무시합니다
  • 매우 사실적인 영상을 생성할 수 있으므로, 공식적으로 AI 생성임을 명시하고 guardrail과 함께 사용하도록 요구합니다. guardrail은 정상적인 요청의 일부도 오탐지하여 차단할 수 있습니다
  • 평가 결과는 공식 기술 보고서의 결과입니다. 본 항목은 실행되지 않았으므로, 실제 성능은 모델 카드를 기준으로 합니다

열기

Hugging Face Trending

최신 AI 소식 보기