原題:Pinkstack/LiliPixel-V1-190M
Pinkstackが11月19日にアップロードした、ゼロから学習した単一ストリームDiT(学習可能パラメータ1.91億、24層、幅768)は、16×16、32×32、64×64の3種類の解像度でピクセルアートをネイティブに出力します。16および32ピクセルではRGBA透過背景のスプライト画像を、64ピクセルでは不透明なシーンを出力します。プロンプトの先頭に「realistic photo,」を追加することでリアルモードを有効にできます。テキストエンコーディングには凍結されたMongoDB/voyage-4-nano(約3.46億パラメータ、初回使用時に自動ダウンロード)を使用し、プロンプトの最大長は96トークンです。学習は13.2万ステップ行われ、データは4つの公開ピクセルアートデータセットから取得されました。
なぜ重要か ゲーム素材制作において、透過背景付きのピクセルスプライトを直接生成できます。作者によれば、推論には約1GBのメモリが必要で、CPUでも動作可能であり、ComfyUIノードが付属しています
上昇スコア30 · いいね31 · ダウンロード数141
理由
- 作者によれば、BF16での推論には約1GBのメモリが必要で、GPUだけでなくCPU上でもほぼ即時に画像を生成できます。同じプロンプトで一度に4枚以上生成して選択することを推奨します
- プロンプトの書き方が明確です:16 / 32ピクセルでは「, transparent background」で終了し、64ピクセルでは「主体, 動作, on <色> background」の形式で記述します。プロンプトは短いほど良いです
- 単一ファイルのComfyUIカスタムノードとサンプルワークフローが付属しており、アルファチャンネル付きのRGBA画像とマスクを出力できます
使い方
- diffusers:DiffusionPipeline.from_pretrained("Pinkstack/LiliPixel-V1-190M", custom_pipeline="Pinkstack/LiliPixel-V1-190M", trust_remote_code=True)を使用し、height / widthを16、32、または64に設定します。32ピクセル以下では30ステップ、64ピクセルでは50ステップ、CFGは3.0です
- ComfyUI:comfyui-workflow/ComfyUI_LiliPixel.pyをcustom_nodesに配置し、pip install -U diffusers "transformers>=4.56" accelerateを実行した後、LiliPixel_V1.jsonをドラッグ&ドロップします
リスク
- パラメータとデータが小さいため、複雑なシーン、マイナーな物体、文字の描画は苦手です。16ピクセルでは2つ以上の主体を収めることができず、64ピクセルでは主題から逸れやすい傾向があります
- 64ピクセルのシーンデータはFLUXで合成した画像を縮小して作成されています。ライセンスはOpenMDW-1.1であり、trust_remote_codeを有効にしてテキストエンコーダをオンラインでダウンロードする必要があります。本項目は未実行です