Sử dụng một mô hình video cho ba loại tạo sinh ảnh có điều kiện: coi ảnh đầu vào (chủ thể tham chiếu, bản vẽ nét Canny hoặc ảnh gốc cần chỉnh sửa) như một khung hình sớm hơn trong video, và coi ảnh cần tạo như khung hình mục tiêu phía sau, để prior về "sự thay đổi giữa các khung hình" của mô hình video đã được tiền huấn luyện hoàn thành quá trình tạo sinh. Các tác giả nhận thấy mối quan hệ giữa đầu vào và mục tiêu khác nhau rất nhiều ở các nhiệm vụ khác nhau, nên họ đã thiết kế hai phần: Hỗn hợp chuyên gia thời gian (MoTE) động lựa chọn các chuyên gia mã hóa vị trí thời gian với "khoảng cách thời gian ảo" khác nhau dựa trên đầu vào, quyết định khoảng cách giữa mục tiêu và đầu vào; Chuỗi suy luận thời gian (CoTR) chèn một trạng thái trung gian tiềm ẩn giữa hai khung hình và sử dụng mặt nạ chú ý dạng cổ chai để truyền thông tin qua nó.
Thích 112 · Số sao mã nguồn 3
Lý do
- Một mô hình bao phủ ba loại nhiệm vụ: tạo sinh dựa trên chủ thể, tạo ảnh từ Canny và chỉnh sửa ảnh theo chỉ dẫn; các tác giả tuyên bố phương pháp này vượt trội hơn so với các phương pháp được so sánh trên DreamBench, COCO2017 và GEdit-Bench.
- Đã có thể chạy: kho lưu trữ cung cấp mã suy luận (cấu hình cuối cùng gồm ba chuyên gia + một biến tiềm ẩn suy luận), trọng số LoRA nằm trên Hugging Face lyneeeeeeeee/FrameForge, mỗi nhiệm vụ trong ba loại đều có một lệnh hoàn chỉnh.
- Ý tưởng có thể chuyển giao: thay vì huấn luyện lại một mô hình chỉnh sửa ảnh, phương pháp này đặt điều kiện và mục tiêu vào các "vị trí thích ứng" trên trục thời gian của video, trực tiếp tái sử dụng prior của mô hình nền tảng video; đứng đầu về lượt thích trong ngày trên Hugging Face (chỉ phản ánh mức độ quan tâm).
Cách dùng
- Môi trường: Linux, Python 3.10, GPU CUDA; trước tiên cài đặt PyTorch tương ứng với CUDA, sau đó chạy pip install -r requirements.txt.
- Mô hình nền tảng và bộ mã hóa: tải về bằng hf download tencent/HunyuanVideo-1.5, Qwen/Qwen2.5-VL-7B-Instruct, google/byt5-small, tải Glyph-SDXL-v2 từ modelscope, và black-forest-labs/FLUX.1-Redux-dev (kho lưu trữ có kiểm soát truy cập, cần đăng ký trên Hugging Face trước) vào thư mục ckpts/.
- LoRA: hf download lyneeeeeeeee/FrameForge pytorch_lora_weights.safetensors --local-dir ./checkpoints.
- Suy luận: MODEL_PATH=./ckpts bash scripts/infer.sh --lora_path … --input_image ảnh đầu vào --reference_size 512 --prompt "…" --num_inference_steps 50; đối với nhiệm vụ Canny, bài báo sử dụng --guidance_scale 2.0, mặc định cho chỉnh sửa là 6.0. Đầu vào và đầu ra đều có kích thước 512×512.
Rủi ro
- Phụ thuộc nặng: yêu cầu toàn bộ HunyuanVideo 1.5 cùng nhiều bộ mã hóa như Qwen2.5-VL-7B, FLUX.1-Redux-dev là mô hình có kiểm soát truy cập; README không ghi rõ yêu cầu về VRAM.
- Chỉ cung cấp mã suy luận, mã huấn luyện và dữ liệu chưa được công bố; đầu ra cố định ở kích thước 512×512, 50 bước, tốc độ không được nêu rõ.
- Mã nguồn và trọng số tuân theo Giấy phép Cộng đồng Tencent Hunyuan, cần kiểm tra các điều khoản trước khi phân phối và sử dụng thương mại; so sánh hiệu quả là do các tác giả báo cáo, chưa xem qua kết quả tạo sinh nên không đánh giá chất lượng hình ảnh.
Chỉnh sửa: Phù hợp cho nghiên cứu hoặc thử nghiệm quy trình làm việc muốn dùng một mô hình để đồng thời thực hiện "giữ nguyên chủ thể thay đổi bối cảnh" và "chỉnh sửa ảnh theo chỉ dẫn", trước tiên hãy xác nhận card đồ họa có đủ khả năng chứa HunyuanVideo 1.5.