HiUni:同一のバックボーンで画像認識と画像生成を両立

ernie-research チームは、事前学習済み視覚言語モデルに直接生成能力を追加しました。理解と生成は、言語と整合した ViT および密な Transformer バックボーンを共有し、タスクの違いは出力側でのみ処理されます。ピクセル空間での最適化の難しさや、ViT による空間的細部の欠落という課題に対処するため、ピクセル空間で直接ノイズ除去を行う Pixel Diffusion Head と、出力前に局所的な細部を補完する軽量な HiGate パスウェイを追加しました。論文によると、理解性能の平均スコアは元の視覚言語モデルと同等であり、画像生成および編集においても競争力があるとされています。

元タイトル:HiUni: Harmonizing Understanding and Generation in Shared Visual Space

ernie-research チームは、事前学習済み視覚言語モデルに直接生成能力を追加しました。理解と生成は、言語と整合した ViT および密な Transformer バックボーンを共有し、タスクの違いは出力側でのみ処理されます。ピクセル空間での最適化の難しさや、ViT による空間的細部の欠落という課題に対処するため、ピクセル空間で直接ノイズ除去を行う Pixel Diffusion Head と、出力前に局所的な細部を補完する軽量な HiGate パスウェイを追加しました。論文によると、理解性能の平均スコアは元の視覚言語モデルと同等であり、画像生成および編集においても競争力があるとされています。

なぜ重要か 多くの統一モデルでは、理解と生成のためにそれぞれ異なる視覚表現または計算パスを用意していますが、本手法はこれらを共有しても機能することを証明しています。理解能力はほぼ低下せず、4B のバックボーンで単一 GPU から大規模な画像を出力できます

いいね 23 · コードのスター数 12

理由

  • README によると、バックボーンは 4B で、生成専用パラメータはわずか 0.9B です。VAE を使用せず直接ピクセルを出力し、最大解像度は 2048×2048 です。テキストから画像への生成において、2048² の解像度では約 13 GB の VRAM が必要です
  • コードには Megatron を用いた訓練(フルファインチューニングと LoRA)、Megatron および transformers を用いた推論、チェックポイント変換が含まれており、訓練コードも公開されています
  • 重みは transformers 形式と Megatron 形式の両方が提供されており、合成データを用いた訓練を行っていない HiUni Base もあります

使い方

  • コード:https://github.com/ernie-research/HiUni;权重:https://huggingface.co/ernie-research/HiUni;分词器和处理器用 Qwen/Qwen3-VL-4B-Instruct
  • Python 3.10 以上、任意の CUDA GPU:pip install -r hf_inference/requirements.txt を実行し、チェックポイントを checkpoints/pixel_dit_hf に配置します
  • テキストから画像への生成:PROMPT="…" bash hf_inference/scripts/run_hf_t2i.sh(デフォルトでは解像度 2048²、ステップ数 25、CFG スケール 4);画像編集:IMAGE=input.jpg PROMPT="…" bash hf_inference/scripts/run_hf_edit.sh;画像質問応答も可能です

リスク

  • README と Hugging Face ページのいずれにも重みのライセンスが記載されていないため、商用利用前に作者に確認する必要があります
  • 生成品質については「競争力がある」とのみ記述されており、本記事では具体的なスコアを検証していません。HiUni Base は 1024×1024 の解像度での使用を推奨します。本記事では実行検証を行っていません

開く · コード · Hugging Face 論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る