LiliPixel:ゼロから学習した小型ピクセルアートモデル

Pinkstackが11月19日にアップロードした、ゼロから学習した単一ストリームDiT(学習可能パラメータ1.91億、24層、幅768)は、16×16、32×32、64×64の3種類の解像度でピクセルアートをネイティブに出力します。16および32ピクセルではRGBA透過背景のスプライト画像を、64ピクセルでは不透明なシーンを出力します。プロンプトの先頭に「realistic photo,」を追加することでリアルモードを有効にできます。テキストエンコーディングには凍結されたMongoDB/voyage-4-nano(約3.46億パラメータ、初回使用時に自動ダウンロード)を使用し、プロンプトの最大長は96トークンです。学習は13.2万ステップ行われ、データは4つの公開ピクセルアートデータセットから取得されました。

原題:Pinkstack/LiliPixel-V1-190M

Pinkstackが11月19日にアップロードした、ゼロから学習した単一ストリームDiT(学習可能パラメータ1.91億、24層、幅768)は、16×16、32×32、64×64の3種類の解像度でピクセルアートをネイティブに出力します。16および32ピクセルではRGBA透過背景のスプライト画像を、64ピクセルでは不透明なシーンを出力します。プロンプトの先頭に「realistic photo,」を追加することでリアルモードを有効にできます。テキストエンコーディングには凍結されたMongoDB/voyage-4-nano(約3.46億パラメータ、初回使用時に自動ダウンロード)を使用し、プロンプトの最大長は96トークンです。学習は13.2万ステップ行われ、データは4つの公開ピクセルアートデータセットから取得されました。

なぜ重要か ゲーム素材制作において、透過背景付きのピクセルスプライトを直接生成できます。作者によれば、推論には約1GBのメモリが必要で、CPUでも動作可能であり、ComfyUIノードが付属しています

上昇スコア30 · いいね31 · ダウンロード数141

理由

  • 作者によれば、BF16での推論には約1GBのメモリが必要で、GPUだけでなくCPU上でもほぼ即時に画像を生成できます。同じプロンプトで一度に4枚以上生成して選択することを推奨します
  • プロンプトの書き方が明確です:16 / 32ピクセルでは「, transparent background」で終了し、64ピクセルでは「主体, 動作, on <色> background」の形式で記述します。プロンプトは短いほど良いです
  • 単一ファイルのComfyUIカスタムノードとサンプルワークフローが付属しており、アルファチャンネル付きのRGBA画像とマスクを出力できます

使い方

  • diffusers:DiffusionPipeline.from_pretrained("Pinkstack/LiliPixel-V1-190M", custom_pipeline="Pinkstack/LiliPixel-V1-190M", trust_remote_code=True)を使用し、height / widthを16、32、または64に設定します。32ピクセル以下では30ステップ、64ピクセルでは50ステップ、CFGは3.0です
  • ComfyUI:comfyui-workflow/ComfyUI_LiliPixel.pyをcustom_nodesに配置し、pip install -U diffusers "transformers>=4.56" accelerateを実行した後、LiliPixel_V1.jsonをドラッグ&ドロップします

リスク

  • パラメータとデータが小さいため、複雑なシーン、マイナーな物体、文字の描画は苦手です。16ピクセルでは2つ以上の主体を収めることができず、64ピクセルでは主題から逸れやすい傾向があります
  • 64ピクセルのシーンデータはFLUXで合成した画像を縮小して作成されています。ライセンスはOpenMDW-1.1であり、trust_remote_codeを有効にしてテキストエンコーダをオンラインでダウンロードする必要があります。本項目は未実行です

開く

Hugging Face Trending

最新の AI ニュースを見る