PAN2

PAN 2은 MBZUAI 기초 모델 연구소(IFM)에서 오픈소스로 공개한 범용 세계 모델입니다. 현재 화면(선택적으로 이미지 한 장)과 텍스트로 설명된 동작을 입력으로 받아 최대 20초 길이의 결과 영상(704×1248, 24 fps)을 출력합니다. 언어 모델이 관찰과 동작을 타임라인이 포함된 구조화된 설명으로 작성한 후, 처음부터 학습된 290억 매개변수의 MMDiT가 영상을 생성하며, 텍스트 인코더로는 Qwen3.5-9B, VAE로는 Wan 2.2을 사용합니다. Comfy-Org 저장소는 ComfyUI용으로 재패키징된 파일들이며, 확산 모델은 BF16과 INT8 두 가지 정밀도를 제공합니다.

PAN 2은 MBZUAI 기초 모델 연구소(IFM)에서 오픈소스로 공개한 범용 세계 모델입니다. 현재 화면(선택적으로 이미지 한 장)과 텍스트로 설명된 동작을 입력으로 받아 최대 20초 길이의 결과 영상(704×1248, 24 fps)을 출력합니다. 언어 모델이 관찰과 동작을 타임라인이 포함된 구조화된 설명으로 작성한 후, 처음부터 학습된 290억 매개변수의 MMDiT가 영상을 생성하며, 텍스트 인코더로는 Qwen3.5-9B, VAE로는 Wan 2.2을 사용합니다. Comfy-Org 저장소는 ComfyUI용으로 재패키징된 파일들이며, 확산 모델은 BF16과 INT8 두 가지 정밀도를 제공합니다.

왜 중요한가 먼저 대규모 언어 모델이 동작을 구조화된 세계 상태로 작성하고, 이후 확산 모델이 이를 시각화함으로써 에이전트가 먼저 시뮬레이션한 후 행동할 수 있게 합니다. 이미 ComfyUI용 패키징 파일이 제공됩니다.

하트 누르기 14 · 하트 상승 점수 14 · 하트 다운로드 0

라이선스: 상업적 사용 가능 · ComfyUI: 공식 패키징 · VRAM: 약 106 GB 추정

이유

  • 공식 Apache-2.0 라이선스; 모델 카드에 아키텍처, 기본 샘플링 매개변수, 알려진 한계 및 안전 가드레일이 명확히 기술되어 있음
  • 공식적으로 Diffusers와 vLLM을 모두 지원하며, Comfy-Org에서 ComfyUI 파일의 배치 디렉터리를 제공함

사용법

  • ComfyUI: Comfy-Org/PAN2에서 pan2_int8_convrot(또는 pan2_bf16), qwen3.5_9b_int8_convrot, wan2.2_vae를 다운로드하여 각각 models 하위의 diffusion_models, text_encoders, vae 디렉터리에 배치
  • 공식 스크립트: hf download IFM/PAN2 실행 후 모델 카드에 따라 가중치를 변환하고, inference/inference.sh를 사용하여 생성; 프롬프트는 먼저 공식 프롬프트 리라이팅 스킬을 사용하여 구조화된 설명으로 정리하는 것이 좋음

위험 요소

  • 공식 스크립트는 각 프로세스마다 전체 290억 매개변수 확산 모델을 로드함; 저장소 파일을 기준으로 추정된 44B / 약 106 GB는 공식 기준과 다르므로 공식 기준을 따르며, 소비자용 GPU에서는 INT8 버전을 권장함
  • 공식적으로 다단계 계획의 약 3분의 2에서 최소 한 단계가 실행되지 않으며, 프롬프트 표현에 민감하다고 보고됨; 공식 pan2-guardrail 콘텐츠 필터와 함께 사용하는 것을 권장함

열기

抱脸 text-to-video 上升榜第 3

최신 AI 소식 보기