原題:Jeveration: System One Models Now Generate
著者は「ファストシンキング」型の並列意思決定モデルを画像生成に適用した。凍結された視覚言語モデル(READMEによればバックボーンはQwen3.5-4B)上で、すべての位置が離散的な画像コードを同時に予測し、1回のフォワードパスで512×512の画像全体を生成する。課題は、並列予測を整合性の取れた1枚の画像に統合することであり、論文ではすべての位置が同じランダム状態を共有し、サンプリングごとに異なるが完全な画像を生成する手法を採用している。画像による直接教師ではモデルがこの状態を無視してしまうため、まず離散的な画像コードの分布を学習し、単一ステップの生成を誘導する。同一アーキテクチャは画像から画像への生成(img2img)と密な予測も統合しており、1つのチェックポイントで3種類のタスクに対応する。論文によれば、H200上で78ミリ秒以内に512×512の画像を生成し、既存の統合モデルと比較して最大122倍高速であり、画質と密な予測性能は「競争力がある」とされている。
なぜ重要か 多くの生成モデルは数十ステップの反復処理を要するが、本モデルは1回のフォワードパスで画像を生成し、同一の重みで画像から画像への生成、深度、セグメンテーション、法線予測を兼用する
いいね 112 · コードのスター数 41
理由
- コードと重みはApache-2.0ライセンスで提供され、重みサイズは約6.5 GB。Hugging FaceにはオンラインデモのSpaceも公開されている
- 画像から画像への生成では、エッジマップや深度マップからの画像変換、白黒写真のカラー化、アニメ、ジブリ風、水彩画の3種類のスタイル転送に対応。密な予測では、各ピクセルのクラス、深度(メートル)、表面法線を一度に出力する
- READMEによれば、同一のハードウェアおよびソフトウェア環境でシードを固定すれば、同じ画像を再現可能である
使い方
- コード:https://github.com/Carol-lyh/Jeveration;权重:https://huggingface.co/linlinlinlinsdada/Jeveration,演示:https://huggingface.co/spaces/linlinlinlinsdada/Jeveration
- 環境はPython 3.12とCUDA対応GPUが必要。
pip install -r requirements.txtを実行後、hf downloadで重みをweights/ディレクトリにダウンロードする。バックボーンのQwen3.5-4B、TA-TiTokトークナイザー、CLIPテキストエンコーダーは初回実行時に自動ダウンロードされる - テキストから画像生成:
python generate.py --weights weights/jeveration.pt --decoder weights/decoder512.pt --prompt "…" --seed 0 --out samples/。画像から画像への生成はimage\_to\_image.pyに--task(hed、depth、colorize、anime、ghibli、watercolor)を指定して実行。密な予測はdense\_predict.pyを使用。app.pyでGradioのWebインターフェースを起動可能
リスク
- 要約では画質が「競争力がある」とのみ記載されており、具体的な画質スコアは示されていない。78ミリ秒は著者がH200上で測定した値であり、本記事では検証していない
- 解像度は512×512の1種類のみ。密な予測はNYUv2の室内シーンでのみ訓練されている
開く · コード · Hugging Face論文ページ