用一个视频模型做三种条件图像生成：把输入图（参考主体、Canny 线稿或待编辑原图）当成视频里较早的一帧，把要生成的图当成后面的目标帧，让预训练视频模型的“帧间变化”先验来完成生成。作者观察到不同任务里输入和目标的关系差别很大，所以设计了两部分：时间专家混合（MoTE）按输入动态选择不同“虚拟时间间隔”的时间位置编码专家，决定目标离输入有多远；时间推理链（CoTR）在两帧之间插一个潜在的中间状态，并用瓶颈式注意力掩码让信息经过它传递。
点赞 112 · 代码星数 3
理由
- 一个模型覆盖主体驱动生成、Canny 生图、指令改图三类任务；作者称在 DreamBench、COCO2017、GEdit-Bench 上优于所比较的方法。
- 已能跑：仓库给出推理代码（三专家 + 一个推理潜变量的最终配置），LoRA 权重在抱脸 lyneeeeeeeee/FrameForge，三种任务各有一条完整命令。
- 思路可迁移：不是再训一个图像编辑模型，而是把条件和目标放到视频时间轴上的“自适应位置”，直接复用视频底模的先验；抱脸当日点赞第一（只代表关注度）。
用法
- 环境：Linux、Python 3.10、CUDA GPU；先装对应 CUDA 的 PyTorch，再 pip install -r requirements.txt。
- 底模和编码器：hf download tencent/HunyuanVideo-1.5、Qwen/Qwen2.5-VL-7B-Instruct、google/byt5-small，modelscope 下 Glyph-SDXL-v2，以及 black-forest-labs/FLUX.1-Redux-dev（门控仓库，要先在抱脸申请）放进 ckpts/。
- LoRA：hf download lyneeeeeeeee/FrameForge pytorch_lora_weights.safetensors --local-dir ./checkpoints。
- 推理：MODEL_PATH=./ckpts bash scripts/infer.sh --lora_path … --input_image 输入图 --reference_size 512 --prompt "…" --num_inference_steps 50；Canny 任务论文用 --guidance_scale 2.0，编辑默认 6.0。输入输出都是 512×512。
风险
- 依赖重：要完整的 HunyuanVideo 1.5 加 Qwen2.5-VL-7B 等多个编码器，FLUX.1-Redux-dev 是门控模型；README 没写显存需求。
- 只放了推理代码，训练代码和数据没放；输出固定 512×512、50 步，速度未说明。
- 代码和权重沿用 Tencent Hunyuan Community License，分发和商用前要核对其条款；效果对比为作者报告，没看过生成结果，不评价画面质量。
编辑：适合想用一个模型同时做“保主体换场景”和“按指令改图”的研究或工作流试验，先确认显卡放得下 HunyuanVideo 1.5。