LiliPixel:从头训练的小型像素画模型

Pinkstack 11 月 19 日上传、从零训练的单流 DiT(可训练参数 1.91 亿,24 层、宽 768),原生输出 16×16、32×32、64×64 三种分辨率的像素画:16 和 32 像素出 RGBA 透明底精灵图,64 像素出不透明场景,提示词开头加 “realistic photo,” 可开写实模式。文本编码用冻结的 MongoDB/voyage-4-nano(约 3.46 亿参数,首次使用自动下载),提示词最长 96 token。训练 13.2 万步,数据来自四个公开像素画数据集。

原题:Pinkstack/LiliPixel-V1-190M

Pinkstack 11 月 19 日上传、从零训练的单流 DiT(可训练参数 1.91 亿,24 层、宽 768),原生输出 16×16、32×32、64×64 三种分辨率的像素画:16 和 32 像素出 RGBA 透明底精灵图,64 像素出不透明场景,提示词开头加 “realistic photo,” 可开写实模式。文本编码用冻结的 MongoDB/voyage-4-nano(约 3.46 亿参数,首次使用自动下载),提示词最长 96 token。训练 13.2 万步,数据来自四个公开像素画数据集。

为什么重要 做游戏素材可以直接出带透明底的像素精灵;作者称推理约 1GB 内存,CPU 也能跑,附 ComfyUI 节点

上升分 30 · 点赞 31 · 下载量 141

理由

  • 作者称 BF16 推理约 1GB 内存,GPU 甚至 CPU 上几乎即时出图,建议同一提示词一次出 4 张以上再挑
  • 提示写法写得清楚:16 / 32 像素以「, transparent background」结尾,64 像素按「主体, 动作, on <颜色> background」写,提示越短越好
  • 附单文件 ComfyUI 自定义节点和示例工作流,可输出带 alpha 的 RGBA 图和遮罩

用法

  • diffusers:DiffusionPipeline.from_pretrained("Pinkstack/LiliPixel-V1-190M", custom_pipeline="Pinkstack/LiliPixel-V1-190M", trust_remote_code=True),height / width 设 16、32 或 64;32 像素以下 30 步、64 像素 50 步,CFG 3.0
  • ComfyUI:把 comfyui-workflow/ComfyUI_LiliPixel.py 放进 custom_nodes,pip install -U diffusers "transformers>=4.56" accelerate,再拖入 LiliPixel_V1.json

风险

  • 参数和数据都小,复杂场景、生僻物体和文字都画不好;16 像素放不下两个以上主体,64 像素容易跑题
  • 64 像素场景数据是 FLUX 合成图缩小得到的;许可为 OpenMDW-1.1,要 trust_remote_code 并联网下载文本编码器。本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态