Mô hình thế giới video tương tác của Tencent Hunyuan, đã được ghi nhận vào ngày 26 tháng 10: video được tạo ra từng đoạn, mỗi đoạn có thể thêm vật thể, thay đổi phong cách, mô tả hành động hoặc cung cấp một quỹ đạo camera bằng văn bản, nội dung trước đó được tiếp nối nhờ bộ nhớ đệm KV. Lần ghi nhận lại này là do sau đó đã bổ sung báo cáo kỹ thuật, cùng với một số phương thức triển khai từ cộng đồng.
Điểm tăng 69 · Lượt thích 126 · Lượt tải 53401
Lý do
- Nội dung mới so với ngày 26 tháng 10: Báo cáo kỹ thuật đã được đăng trên arXiv vào ngày 27 tháng 10 (2610.36729), nêu rõ mô hình nền tảng là mô hình khuếch tán 8B, sử dụng mô tả video có cấu trúc kết hợp với cơ chế chú ý nhân quả bị giới hạn bởi cửa sổ thời gian hành động, quá trình huấn luyện tuân theo chương trình học nhiều giai đoạn, cuối cùng thực hiện chưng cất mô hình khuếch tán. Tóm tắt cho biết đánh giá bởi con người vượt trội hơn so với các mô hình thế giới hiện có, nhưng không cung cấp điểm số cụ thể.
- Tích hợp từ cộng đồng: Nút ComfyUI-Hy-Nomas của bên thứ ba, tác giả tuyên bố có thể chạy trên card đồ họa 12 GB, có thể khởi tạo một thế giới từ một hình ảnh duy nhất, cũng như điều khiển từng đoạn bằng bàn phím WASD; SGLang Diffusion đã hợp nhất hỗ trợ, có thể chạy cả tác vụ ngoại tuyến và phiên phát trực tiếp thời gian thực; WanGP v18.81 cũng đã thêm tính năng tạo thế giới và điều hướng bằng bàn phím.
- Ví dụ do tác giả nút ComfyUI cung cấp: bốn đoạn 5 giây ghép thành 20 giây, độ phân giải 1280×704, 24 fps, trên RTX 4090 mỗi lần chạy mất khoảng 3 phút. GitHub chính thức cũng tuyên bố phiên bản chưng cất hỗ trợ suy luận với 4 / 6 / 8 bước.
Cách sử dụng
- ComfyUI: Tìm kiếm Hy-Nomas (world model) trong ComfyUI-Manager, hoặc chạy lệnh comfy node install hy-nomas. Tải hy_nomas_distil_int8.safetensors từ PedroMarinhoDev/Hy-Nomas-ComfyUI và đặt vào thư mục diffusion_models, tải hy_nomas_pixelumm_fp8.safetensors và đặt vào thư mục vae; sử dụng bộ mã hóa văn bản qwen_2.5_vl_7b_fp8_scaled giống như Qwen-Image. Thiết lập lấy mẫu là euler / simple / 8 bước / cfg 1, chọn độ phân giải 1280×704 hoặc 832×480.
- Mã nguồn chính thức: git clone Tencent-Hunyuan/Hy-Nomas. Đối với một GPU, sử dụng configs/experiment/single_gpu_low_mem_inference.yaml, kết hợp với DiT INT8 và PixelUMM FP8; cấu hình tiêu chuẩn mặc định yêu cầu 8 GPU với song song hóa chuỗi. Prompt là JSON, mỗi đoạn ghi rõ thời gian bắt đầu và kết thúc, các đoạn sau sử dụng description_change để mô tả cách hình ảnh thay đổi.
- Nếu không muốn triển khai, bạn có thể sử dụng demo trực tuyến chính thức (hy-nomas.hy.tencent.com).
Rủi ro
- Nút ComfyUI là sản phẩm của cộng đồng, tác giả đánh dấu là "đang phát triển", đầu vào của nút có thể thay đổi, mã nguồn theo giấy phép GPL-3.0. Cách tiếp cận "bắt đầu từ hình ảnh" là đưa hình ảnh vào bộ nhớ lịch sử, bản thân mô hình không có đầu vào hình ảnh.
- Tóm tắt báo cáo kỹ thuật không có điểm số định lượng, chi tiết đánh giá bởi con người chưa được mục này xác minh. Cấu hình một GPU 4090 chính thức yêu cầu bộ nhớ hệ thống lớn để chứa các mô hình được卸载 (offload) và bộ nhớ đệm lịch sử ngày càng tăng, phiên bản INT8 cũng không thể tải LoRA trong quá trình suy luận.
- Demo web yêu cầu triển khai riêng dịch vụ tăng cường prompt Nomas-PE; 24 fps chỉ là tốc độ khung hình phát lại, tốc độ tạo hình phụ thuộc vào phần cứng, độ phân giải và độ dài lịch sử.