Nguồn gốc: IFM/PAN2
Mô hình thế giới tổng quát do Viện Nghiên cứu Mô hình Nền tảng (IFM) thuộc Đại học Trí tuệ Nhân tạo Mohamed bin Zayed (MBZUAI) công bố: Với đầu vào là quan sát hiện tại (tùy chọn một hình ảnh kèm văn bản) và mô tả hành động bằng văn bản, mô hình sẽ mô phỏng kết quả của hành động đó và xuất ra video dài tối đa 20 giây. Kiến trúc gồm hai lớp: Mô hình ngôn ngữ lớn thực hiện "suy luận khái niệm", chuyển đổi cảnh và hành động thành mô tả có cấu trúc kèm mốc thời gian (sự kiện, tác nhân, chuyển động máy quay); MMDiT với 290 tỷ tham số, được huấn luyện từ đầu, thực hiện "suy luận cảm nhận", tạo ra các biến tiềm ẩn của video dựa trên mô tả này, sau đó được giải mã bởi Wan 2.2 VAE. Một điểm kiểm tra (checkpoint) duy nhất hỗ trợ cả chuyển đổi văn bản thành video và hình ảnh thành video, với đầu ra kích thước 704×1248, tốc độ khung hình 24 fps, mặc định 50 bước, CFG 2.5, thời gian xử lý khoảng 10 giây.
Tại sao quan trọng Cho phép tác nhân mô phỏng kết quả của từng phương án dự kiến trước khi hành động và chọn phương án tốt nhất; giấy phép Apache cho các trọng số, đã được hỗ trợ bởi diffusers và vLLM
Điểm tăng 70 · Lượt thích 70 · Lượt tải xuống 10
Lý do
- Mục đích sử dụng là "suy luận mô phỏng": tác nhân hoặc robot có thể dùng nó để chạy thử từng phương án dự kiến, sau đó chọn phương án dựa trên kết quả mô phỏng; thẻ mô hình cũng liệt kê các ứng dụng tạo video cho giáo dục, sáng tạo, v.v.
- Có sẵn công cụ viết lại lời nhắc (prompt): cung cấp kỹ năng "suy luận khái niệm" chính thức dành cho Codex / Claude Code và script viết lại cục bộ, chuyển đổi văn bản tự do thành mô tả có cấu trúc mà mô hình yêu cầu
- Lộ trình triển khai: kho lưu trữ đi kèm generate.py và các script đa GPU, cũng hỗ trợ diffusers và vLLM; ngoài ra, cung cấp chính thức pan2-guardrail để lọc an toàn, kiểm tra cả trước và sau khi tạo
Cách dùng
- hf download IFM/PAN2 --include "transformer/*", sử dụng scripts/convert_checkpoint.py to-native để chuyển đổi một lần; tải thêm Qwen/Qwen3.5-9B (bộ mã hóa văn bản) và Wan-AI/Wan2.2-TI2V-5B-Diffusers (VAE)
- bash inference/inference.sh <đường dẫn điểm kiểm tra> <thư mục đầu ra> [JSON lời nhắc]; các mục có image_path sẽ được xử lý theo chế độ hình ảnh thành video, thời lượng, số bước và CFG có thể thay đổi qua các biến môi trường như VIDEO_LENGTH, NUM_STEPS, GUIDANCE_SCALE
- Lời nhắc văn bản tự do cần được viết lại thành mô tả có cấu trúc bằng kỹ năng pan-prompt-rewriter chính thức hoặc inference/prompts_rewritter.py trước khi tạo
Rủi ro
- Mỗi GPU cần chứa toàn bộ mô hình khuếch tán với 290 tỷ tham số; môi trường chính thức sử dụng CUDA 13 và phiên bản xem trước của flash-attn 4, đòi hỏi yêu cầu phần cứng cao
- Tài liệu chính thức cho biết các kế hoạch dài thường thất bại: khoảng hai phần ba các kế hoạch mô phỏng có ít nhất một bước không được thực hiện; nhạy cảm với cách diễn đạt lời nhắc, ngoại hình có thể bị lệch giữa các đoạn video, đôi khi bỏ qua các ràng buộc vật lý
- Có khả năng tạo ra video chân thực như thật, tài liệu chính thức yêu cầu ghi rõ là do AI tạo và sử dụng kèm guardrail; guardrail cũng có thể chặn nhầm một số yêu cầu hợp lệ
- Kết quả đánh giá dựa trên báo cáo kỹ thuật chính thức; mục này chưa được chạy thử nghiệm, hiệu suất thực tế phụ thuộc vào thẻ mô hình