Jeveration:一次前向出整张图的统一模型

作者把“快思考”式的并行决策模型拿来生成图像:在冻结的视觉语言模型(README 称骨干是 Qwen3.5-4B)上,所有位置同时预测离散图像编码,一次前向得到整张 512×512 图。难点是并行预测要拼成一张协调的图,论文的做法是让所有位置共享同一个随机状态,每次抽样得到不同但完整的图;由于直接用图像监督时模型会忽略这个状态,先学一个离散图像编码的分布来引导单步生成。同一架构还统一了图生图和稠密预测,一个检查点做三类任务。论文称在一张 H200 上 78 毫秒生成一张 512×512 图,比现有统一模型最多快 122 倍,画质和稠密预测“有竞争力”。

原题:Jeveration: System One Models Now Generate

作者把“快思考”式的并行决策模型拿来生成图像:在冻结的视觉语言模型(README 称骨干是 Qwen3.5-4B)上,所有位置同时预测离散图像编码,一次前向得到整张 512×512 图。难点是并行预测要拼成一张协调的图,论文的做法是让所有位置共享同一个随机状态,每次抽样得到不同但完整的图;由于直接用图像监督时模型会忽略这个状态,先学一个离散图像编码的分布来引导单步生成。同一架构还统一了图生图和稠密预测,一个检查点做三类任务。论文称在一张 H200 上 78 毫秒生成一张 512×512 图,比现有统一模型最多快 122 倍,画质和稠密预测“有竞争力”。

为什么重要 多数生成模型要迭代几十步;它一次前向出图,同一份权重兼做图生图和深度、分割、法线预测

点赞 112 · 代码星数 41

理由

  • 代码和权重都是 Apache-2.0,权重约 6.5 GB,抱脸另有在线演示 Space
  • 图生图支持边缘图或深度图转图像、黑白照片上色,以及动漫、吉卜力、水彩三种风格迁移;稠密预测一次给出每个像素的类别、深度(米)和表面法线
  • README 称同一硬件和软件下固定种子可复现同一张图

用法

  • 代码:https://github.com/Carol-lyh/Jeveration;权重:https://huggingface.co/linlinlinlinsdada/Jeveration,演示:https://huggingface.co/spaces/linlinlinlinsdada/Jeveration
  • 环境为 Python 3.12 加 CUDA 显卡:pip install -r requirements.txt 后用 hf download 下载权重到 weights/;骨干 Qwen3.5-4B、TA-TiTok 分词器和 CLIP 文本塔首次运行时自动下载
  • 文生图:python generate.py --weights weights/jeveration.pt --decoder weights/decoder512.pt --prompt "…" --seed 0 --out samples/;图生图用 image_to_image.py 加 --task(hed、depth、colorize、anime、ghibli、watercolor),稠密预测用 dense_predict.py;app.py 可起 Gradio 网页

风险

  • 摘要只说画质“有竞争力”,没有给出具体画质分数;78 毫秒是作者在 H200 上的测速,本条未运行
  • 只有 512×512 一种分辨率;稠密预测只在 NYUv2 室内场景上训练

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态