하나의 비디오 모델로 세 가지 조건부 이미지 생성 수행: 입력 이미지(참조 대상, Canny 윤곽선 또는 편집할 원본 이미지)를 비디오의 이전 프레임으로 간주하고, 생성할 이미지를 이후의 목표 프레임으로 간주하여 사전 학습된 비디오 모델의 '프레임 간 변화' 사전 지식을 생성에 활용합니다. 저자들은 다양한 작업에서 입력과 목표 간의 관계가 크게 다르다는 점을 관찰하여 두 가지 부분을 설계했습니다. 시간적 전문가 혼합(MoTE)은 입력에 따라 서로 다른 '가상 시간 간격'의 시간 위치 인코딩 전문가를 동적으로 선택하여 목표가 입력으로부터 얼마나 떨어져 있는지를 결정합니다. 시간적 추론 체인(CoTR)은 두 프레임 사이에 잠재적 중간 상태를 삽입하고 병목형 어텐션 마스크를 통해 정보가 이를 경유하도록 전달합니다.
좋아요 112 · 코드 스타 수 3
이유
- 하나의 모델로 대상 기반 생성, Canny 기반 이미지 생성, 지시 기반 이미지 편집의 세 가지 작업을 모두 커버합니다. 저자들은 DreamBench, COCO2017, GEdit-Bench에서 비교된 방법들보다 우수한 성능을 보였다고 주장합니다.
- 실행 가능: 저장소에 추론 코드(세 가지 전문가 + 하나의 추론 잠재 변수를 포함한 최종 구성)가 제공되며, LoRA 가중치는 Hugging Face의 lyneeeeeeeee/FrameForge에 있습니다. 세 가지 작업 각각에 대해 완전한 명령어가 하나씩 제공됩니다.
- 아이디어의 이전 가능성: 이미지 편집 모델을 추가로 학습하는 것이 아니라, 조건과 목표를 비디오 시간 축의 '적응형 위치'에 배치하여 비디오 기반 모델의 사전 지식을 직접 재사용합니다. Hugging Face에서 당일 좋아요 1위를 기록했습니다(이는 단지 관심도를 나타냅니다).
사용법
- 환경: Linux, Python 3.10, CUDA GPU; 먼저 해당 CUDA 버전에 맞는 PyTorch를 설치한 후, pip install -r requirements.txt를 실행합니다.
- 기반 모델 및 인코더: hf download tencent/HunyuanVideo-1.5, Qwen/Qwen2.5-VL-7B-Instruct, google/byt5-small, modelscope에서 Glyph-SDXL-v2, 그리고 black-forest-labs/FLUX.1-Redux-dev(게이트웨이 저장소로, Hugging Face에서 먼저 신청해야 함)를 ckpts/ 폴더에 넣습니다.
- LoRA: hf download lyneeeeeeeee/FrameForge pytorch_lora_weights.safetensors --local-dir ./checkpoints.
- 추론: MODEL_PATH=./ckpts bash scripts/infer.sh --lora_path … --input_image 입력 이미지 --reference_size 512 --prompt "…" --num_inference_steps 50; Canny 작업의 경우 논문에서는 --guidance_scale 2.0를 사용하며, 편집 작업의 기본값은 6.0입니다. 입력 및 출력 모두 512×512 크기입니다.
리스크
- 높은 의존성: 전체 HunyuanVideo 1.5 및 Qwen2.5-VL-7B 등 여러 인코더가 필요하며, FLUX.1-Redux-dev는 게이트웨이 모델입니다. README에 VRAM 요구 사항이 명시되어 있지 않습니다.
- 추론 코드만 공개되어 있으며, 학습 코드와 데이터는 공개되지 않았습니다. 출력은 고정된 512×512 크기이며 50 단계로 생성되고, 속도에 대한 설명은 없습니다.
- 코드와 가중치는 Tencent Hunyuan Community License를 따르므로, 배포 및 상업적 사용 전에 해당 라이선스 조건을 확인해야 합니다. 성능 비교는 저자들이 보고한 내용이며, 생성된 결과를 직접 확인하지 않았으므로 이미지 품질에 대한 평가는 하지 않습니다.
편집: '대상 보존 및 배경 변경'과 '지시 기반 이미지 편집'을 하나의 모델로 동시에 수행하려는 연구 또는 워크플로우 실험에 적합합니다. 먼저 GPU가 HunyuanVideo 1.5를 구동할 수 있는지 확인하십시오.
열기 · 코드 · Hugging Face 논문 페이지