LiliPixel : un petit modèle de pixel art entraîné de zéro

Publié par Pinkstack le 11 19, DiT mono-flux entraîné de zéro (paramètres entraînables : 1.91 millions, 24 couches, largeur 768), générant nativement du pixel art en trois résolutions : 16×16, 32×32 et 64×64. Les images de 16 et 32 pixels produisent des sprites avec fond transparent RGBA, tandis que celles de 64 pixels génèrent des scènes opaques. Ajouter « realistic photo, » au début du prompt active le mode réaliste. L'encodage textuel utilise MongoDB/voyage-4-nano gelé (environ 3.46 millions de paramètres, téléchargement automatique à la première utilisation), avec une longueur maximale de prompt de 96 tokens. Entraînement sur 13.2 mille pas, utilisant des données provenant de quatre jeux de données publics de pixel art.

Titre original : Pinkstack/LiliPixel-V1-190M

Publié par Pinkstack le 11 19, DiT mono-flux entraîné de zéro (paramètres entraînables : 1.91 millions, 24 couches, largeur 768), générant nativement du pixel art en trois résolutions : 16×16, 32×32 et 64×64. Les images de 16 et 32 pixels produisent des sprites avec fond transparent RGBA, tandis que celles de 64 pixels génèrent des scènes opaques. Ajouter « realistic photo, » au début du prompt active le mode réaliste. L'encodage textuel utilise MongoDB/voyage-4-nano gelé (environ 3.46 millions de paramètres, téléchargement automatique à la première utilisation), avec une longueur maximale de prompt de 96 tokens. Entraînement sur 13.2 mille pas, utilisant des données provenant de quatre jeux de données publics de pixel art.

Pourquoi c'est important : Permet de générer directement des sprites pixel art avec fond transparent pour les ressources de jeu ; l'auteur indique une mémoire d'inférence d'environ 1 Go, fonctionnant même sur CPU, avec un nœud ComfyUI fourni

Score en hausse de 30 · J'aime : 31 · Téléchargements : 141

Raisons

  • L'auteur indique qu'une inférence BF16 nécessite environ 1 Go de mémoire, avec une génération quasi instantanée sur GPU voire CPU ; il est recommandé de générer au moins 4 images par prompt pour choisir la meilleure
  • La rédaction des prompts est claire : terminez les prompts pour les résolutions 16 / 32 pixels par « , transparent background », et structurez ceux pour 64 pixels selon le format « sujet, action, on <couleur> background » ; plus le prompt est court, mieux c'est
  • Fournit un nœud personnalisé ComfyUI en fichier unique et des workflows d'exemple, permettant de sortir des images RGBA avec alpha et des masques

Utilisation

  • diffusers : DiffusionPipeline.from_pretrained("Pinkstack/LiliPixel-V1-190M", custom_pipeline="Pinkstack/LiliPixel-V1-190M", trust_remote_code=True), définissez height / width sur 16, 32 ou 64 ; utilisez 30 pas pour les résolutions inférieures à 32 pixels et 50 pas pour 64 pixels, avec un CFG de 3.0
  • ComfyUI : placez comfyui-workflow/ComfyUI_LiliPixel.py dans custom_nodes, exécutez pip install -U diffusers "transformers>=4.56" accelerate, puis importez LiliPixel_V1.json

Risques

  • Le nombre de paramètres et la quantité de données sont faibles ; les scènes complexes, les objets rares et le texte sont mal rendus ; il est difficile d'inclure plus de deux sujets en 16 pixels, et les résultats dérivent souvent du sujet principal en 64 pixels
  • Les données de scènes en 64 pixels proviennent de la réduction d'images synthétiques FLUX ; la licence est OpenMDW-1.1, nécessitant trust_remote_code et une connexion internet pour télécharger l'encodeur textuel. Cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA