PAN 2 là mô hình thế giới tổng quát do Viện Nghiên cứu Mô hình Cơ bản (IFM) của MBZUAI mã nguồn mở: đầu vào là khung hình hiện tại (có thể kèm một hình ảnh) và mô tả hành động bằng văn bản, đầu ra là video kết quả dài tối đa 20 giây (704×1248, 24 fps). Mô hình ngôn ngữ trước tiên chuyển đổi quan sát và hành động thành mô tả có cấu trúc kèm dòng thời gian, sau đó MMDiT với 290 tỷ tham số được huấn luyện từ đầu sẽ tạo ra video; bộ mã hóa văn bản sử dụng Qwen3.5-9B, còn VAE sử dụng Wan 2.2. Kho lưu trữ của Comfy-Org chứa các tệp được đóng gói lại cho ComfyUI, trong đó mô hình khuếch tán có hai độ chính xác: BF16 và INT8.
Tại sao quan trọng Việc để mô hình lớn chuyển đổi hành động thành trạng thái thế giới có cấu trúc, sau đó để mô hình khuếch tán vẽ ra, cho phép tác nhân mô phỏng trước khi hành động; đã có sẵn các tệp đóng gói cho ComfyUI.
Lượt thích 14 · Lượt tăng điểm 14 · Lượt tải xuống 0
Giấy phép: Được phép sử dụng thương mại · ComfyUI: Đóng gói chính thức · VRAM: ≈106 GB (ước tính)
Lý do
- Giấy phép Apache-2.0 chính thức; thẻ mô hình ghi rõ kiến trúc, tham số lấy mẫu mặc định, các hạn chế đã biết và các biện pháp bảo vệ an toàn
- Hỗ trợ chính thức cả Diffusers và vLLM, Comfy-Org cung cấp thư mục lưu trữ cho từng tệp của ComfyUI
Cách sử dụng
- ComfyUI: Tải xuống pan2_int8_convrot (hoặc pan2_bf16), qwen3.5_9b_int8_convrot, wan2.2_vae từ Comfy-Org/PAN2, lần lượt đặt vào các thư mục diffusion_models, text_encoders, vae trong thư mục models
- Kịch bản chính thức: Chạy hf download IFM/PAN2, sau đó chuyển đổi trọng số theo thẻ mô hình, sử dụng inference/inference.sh để tạo kết quả; nên dùng kỹ năng viết lại lời nhắc chính thức để chuyển lời nhắc thành mô tả có cấu trúc trước khi sử dụng
Rủi ro
- Kịch bản chính thức tải toàn bộ mô hình khuếch tán với 290 tỷ tham số cho mỗi tiến trình; ước tính 44B / khoảng 106 GB dựa trên tệp kho lưu trữ khác với số liệu chính thức, hãy lấy số liệu chính thức làm chuẩn, khuyến nghị dùng phiên bản INT8 cho card đồ họa tiêu dùng
- Chính thức cho biết khoảng hai phần ba kế hoạch nhiều bước có ít nhất một bước không được thực thi, và mô hình nhạy cảm với cách diễn đạt lời nhắc; khuyến nghị sử dụng cùng với bộ lọc nội dung pan2-guardrail chính thức