Оригинальное название: Pinkstack/LiliPixel-V1-190M
Загружено Pinkstack 11 19, однопоточный DiT, обученный с нуля (обучаемые параметры — 1.91 млрд, 24 слоёв, ширина 768), нативно генерирует пиксель-арт в трёх разрешениях: 16×16, 32×32 и 64×64. Разрешения 16 и 32 создают спрайты с прозрачным фоном RGBA, разрешение 64 — непрозрачные сцены. Добавление «realistic photo,» в начало промпта включает реалистичный режим. Для кодирования текста используется замороженная модель MongoDB/voyage-4-nano (около 3.46 млрд параметров, автоматически загружается при первом использовании), максимальная длина промпта — 96 токенов. Обучение проводилось в течение 13.2 тыс. шагов на данных из четырёх открытых наборов пиксель-арта.
Почему это важно Позволяет напрямую генерировать спрайты с прозрачным фоном для игровых ассетов; по словам автора, инференс требует около 1 ГБ памяти и может выполняться даже на CPU, прилагается узел ComfyUI
Рост рейтинга: 30 · Лайки: 31 · Загрузки: 141
Причины
- По словам автора, инференс в формате BF16 требует около 1 ГБ памяти и обеспечивает почти мгновенную генерацию изображений даже на GPU или CPU; рекомендуется генерировать более 4 вариантов по одному промпту для последующего отбора
- Чётко описан формат промптов: для разрешений 16 / 32 пикселей промпт должен заканчиваться на «, transparent background», для разрешения 64 пикселей используется формат «объект, действие, on \u003cцвет\u003e background»; чем короче промпт, тем лучше
- Прилагается однофайловый пользовательский узел ComfyUI и пример рабочего процесса, позволяющие выводить RGBA-изображения с альфа-каналом и маски
Использование
- diffusers: DiffusionPipeline.from_pretrained("Pinkstack/LiliPixel-V1-190M", custom_pipeline="Pinkstack/LiliPixel-V1-190M", trust_remote_code=True), установите height / width равными 16, 32 или 64; для разрешений ниже 32 пикселей используйте 30 шагов, для разрешения 64 пикселей — 50 шагов, CFG-масштаб: 3.0
- ComfyUI: поместите comfyui-workflow/ComfyUI_LiliPixel.py в папку custom_nodes, выполните pip install -U diffusers "transformers\u003e=4.56" accelerate, затем загрузите файл LiliPixel_V1.json
Риски
- Из-за небольшого количества параметров и данных модель плохо справляется со сложными сценами, редкими объектами и текстом; в разрешении 16 пикселей невозможно разместить более двух объектов, а в разрешении 64 пикселей часто происходит отклонение от темы
- Данные для сцен в разрешении 64 пикселей получены путём уменьшения синтетических изображений FLUX; лицензия — OpenMDW-1.1, требуется параметр trust_remote_code и загрузка текстового кодировщика из сети. Данный пункт не был проверен на практике