1つの動画モデルで3種類の条件付き画像生成を実現：入力画像（参照主体、Cannyエッジマップ、または編集対象の元画像）を動画内の初期フレームとみなし、生成すべき画像を後続のターゲットフレームとみなすことで、事前学習済み動画モデルの「フレーム間変化」に関する事前知識を用いて生成を行う。著者らは、タスクごとに入力とターゲットの関係性が大きく異なることを観察し、2つの構成要素を設計した。時間的専門家混合（MoTE）は、入力に応じて異なる「仮想時間間隔」を持つ時間的位置エンコーディングの専門家を動的に選択し、ターゲットが入力からどの程度離れているかを決定する。時間的推論チェーン（CoTR）は、2つのフレーム間に潜在的な中間状態を挿入し、ボトルネック型の注意マスクを用いて情報をその中間状態経由で伝達させる。
いいね 112 · コードスター数 3
理由
- 1つのモデルで主体駆動生成、Cannyからの画像生成、指示による画像編集の3種類のタスクをカバー。著者らはDreamBench、COCO2017、GEdit-Benchにおいて比較手法を上回ると主張している。
- 実行可能：リポジトリには推論コード（3つの専門家と1つの推論用潜在変数を含む最終構成）が提供されており、LoRA重みはHugging Faceのlyneeeeeeeee/FrameForgeで公開されている。3種類のタスクそれぞれに対して完全なコマンドが1つずつ用意されている。
- 発想の転用可能性：画像編集モデルを新たに学習させるのではなく、条件とターゲットを動画の時間軸上の「適応的な位置」に配置し、動画基盤モデルの事前知識を直接再利用する手法である。Hugging Faceでの当日のいいね数は1位（これは注目度を示すに過ぎない）。
使い方
- 環境：Linux、Python 3.10、CUDA GPU。まず対応するCUDAバージョンのPyTorchをインストールし、その後 pip install -r requirements.txt を実行する。
- 基盤モデルとエンコーダ：hf download tencent/HunyuanVideo-1.5、Qwen/Qwen2.5-VL-7B-Instruct、google/byt5-small、modelscopeからGlyph-SDXL-v2、およびblack-forest-labs/FLUX.1-Redux-dev（ゲート付きリポジトリのため、事前にHugging Faceで申請が必要）を ckpts/ ディレクトリに配置する。
- LoRA：hf download lyneeeeeeeee/FrameForge pytorch_lora_weights.safetensors --local-dir ./checkpoints。
- 推論：MODEL_PATH=./ckpts bash scripts/infer.sh --lora_path … --input_image 入力画像 --reference_size 512 --prompt "…" --num_inference_steps 50。Cannyタスクでは論文で --guidance_scale 2.0 が使用され、編集タスクのデフォルトは 6.0 である。入力と出力の解像度はともに 512×512。
リスク
- 依存関係が重い：完全なHunyuanVideo 1.5に加え、Qwen2.5-VL-7Bなど複数のエンコーダが必要であり、FLUX.1-Redux-devはゲート付きモデルである。READMEにはメモリ要件が記載されていない。
- 推論コードのみが公開されており、学習コードとデータは非公開。出力は固定で 512×512、50 ステップであり、速度については説明がない。
- コードと重みはTencent Hunyuan Community Licenseに従うため、配布や商用利用の前に条項を確認する必要がある。効果の比較は著者による報告であり、生成結果を確認していないため、画質については評価しない。
編集：1つのモデルで「主体を保ちつつ背景を変更する」と「指示による画像編集」の両方を同時に行いたい研究やワークフローの実験に適している。まず、GPUメモリでHunyuanVideo 1.5が実行可能かどうかを確認すること。
開く · コード · Hugging Face論文ページ